[論文レビュー] Ambiguity set and learning via Bregman and Wasserstein

Xin Guo, Johnny Hong+1 more|arXiv (Cornell University)|May 23, 2017

Risk and Portfolio Optimization参考文献 28被引用数 4

ひとこと要約

本稿では、$L_2$-Wasserstein距離とBregman散発を統合する、新たな非対称な統計的散発「Wasserstein-Bregman散発」を提案する。これにより、ロバスト最適化および分布学習におけるあいまいさ集合の構築が改善される。Bregman散発に関する集中および漸近的結果を確立し、取り扱いやすい凸なあいまいさ集合と、変換された分布およびペナルティ項を用いた効率的な最適化を可能にする分解が得られる。

ABSTRACT

Construction of ambiguity set in robust optimization relies on the choice of divergences between probability distributions. In distribution learning, choosing appropriate probability distributions based on observed data is critical for approximating the true distribution. To improve the performance of machine learning models, there has recently been interest in designing objective functions based on Lp-Wasserstein distance rather than the classical Kullback-Leibler (KL) divergence. In this paper, we derive concentration and asymptotic results using Bregman divergence. We propose a novel asymmetric statistical divergence called Wasserstein-Bregman divergence as a generalization of L2-Wasserstein distance. We discuss how these results can be applied to the construction of ambiguity set in robust optimization.

研究の動機と目的

• KL散発の制限、特に連続分布と経験的分布の間で定義されない点および確率質量の空間的近接性を反映しない点を解消すること。
• Bregman散発を用いた一般化枠組みを構築し、真の分布が高確率で含まれるよう保証する分布ロバスト最適化におけるあいまいさ集合の構築を目的とする。
• Wasserstein距離の幾何的性質とBregman散発の非対称性および解析的柔軟性を組み合わせた、新たな散発「Wasserstein-Bregman」を提案し、統計的および最適化的性能の向上を図ること。
• パrametric設定下での経験的分布と真の分布の間のBregman散発に関する集中および漸近的結果を含む理論的保証を提供すること。

提案手法

• 凸生成関数 $\phi$ の有界ヘッセ行列およびリプシッツ条件を用いて、経験的離散分布と真の分布の間のBregman散発に関する集中不等式を導出する。
• パラメトリックモデルにおけるBregman散発の漸近的挙動がヘッセ行列 $\phi$ に直接影響されることを示す弱収束結果を確立する。
• Bregman散発を運搬コストに用いた $L_2$-Wasserstein距離の一般化として、Wasserstein-Bregman散発 $W_{D_\phi}$ を提案する。
• $W_{D_\phi}(\mathbb{Q}, \mathbb{P}_\theta)$ を、$\mathbb{Q}$ と $\mathbb{P}_\theta$ の $\nabla\phi$-変換版との間の二乗 $L_2$-Wasserstein項 $D$ と、$\phi$ 及びその勾配の期待値を含むペナルティ項 $P$ に分解する。
• 経験的分布を中心とするBregman散発ボールを用いて凸なあいまいさ集合を構築し、$M_\phi$ および $L_\phi$ を含む集中境界に基づく半径を導出する。
• 分布学習における目的関数としてこの散発を適用し、幾何的運搬コストとポテンシャルベースの正則化を分離する分解により最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型不確実性下でのロバスト最適化において、Bregman散発を用いて統計的に妥当かつ計算的に取り扱いやすいあいまいさ集合を構築する方法は何か？
• RQ2 パラメトリック設定下での経験的分布と真の分布の間のBregman散発の集中および漸近的性質は何か？
• RQ3 Wasserstein距離とBregman散発の長所を組み合わせた、非対称的かつ幾何的に意味のある分布比較を可能にする散発を構築できるか？
• RQ4 凸生成関数 $\phi$ の選択が、得られる散発の情報含量および挙動に与える影響は何か？
• RQ5 提案されたWasserstein-Bregman散発の構造的分解は何か？また、これにより分布学習における効率的な最適化がどのように可能になるか？

主な発見

• 期待Bregman散発 $\mathbb{E}[D_\phi(p, \hat{p}_n)]$ は $M_\phi \sqrt{d/(4n)}$ で有界であり、ここで $M_\phi$ は $\phi$ の勾配の最大ノルム、$d$ は次元である。
• 期待Bregman散発 $\mathbb{E}[D_\phi(\hat{p}_n, p)]$ は $M_\phi \sqrt{d/(4n)}$ で有界であり、経験的分布が真の分布の周囲に集中していることを示している。
• 凸なあいまいさ集合は $\{p : D_\phi(p, \hat{p}_n) \leq M_\phi \sqrt{d/(4n)} + L_\phi (d/(4n)) + \epsilon\}$ として構築され、真の分布が高確率で含まれることを保証する。
• Wasserstein-Bregman散発は $W_{D_\phi}(\mathbb{Q}, \mathbb{P}_\theta) = D + P$ に分解され、ここで $D = \frac{1}{2} W_2^2(\mathbb{Q}, \mathbb{P}_\theta \circ (\nabla\phi)^{-1})$ であり、$P$ は $\phi$ 及びその勾配の期待値を含むペナルティ項である。
• $\phi(x) = \|x\|_2^2$ のとき、Wasserstein-Bregman散発は $L_2$-Wasserstein距離に還元され、標準的なケースが回復される。
• 提案された散発は非対称であり、対称な度量よりも洗練された分布比較を可能にしつつ、望ましい最適化特性を維持している。