[論文レビュー] First-order Conditions for Optimization in the Wasserstein Space

Nicolas Lanzetti, Saverio Bolognani+1 more|arXiv (Cornell University)|Sep 25, 2022

Risk and Portfolio Optimization被引用数 6

ひとこと要約

この論文は、最適輸送幾何と変分法を活用することで、 Wasserstein 空間における制約付き最適化の一次最適性条件を確立した。標準的な根拠、例えば「勾配をゼロに設定する」ことや「最適性において勾配が整合している」というものも、Wasserstein 距離下での確率測度へ一般化され、分布ロバスト最適化および平均・分散、KL 発散、Wasserstein 距離を含む統計的推論問題において閉形式解の導出を可能にした。

ABSTRACT

We study first-order optimality conditions for constrained optimization in the Wasserstein space, whereby one seeks to minimize a real-valued function over the space of probability measures endowed with the Wasserstein distance. Our analysis combines recent insights on the geometry and the differential structure of the Wasserstein space with more classical calculus of variations. We show that simple rationales such as "setting the derivative to zero" and "gradients are aligned at optimality" carry over to the Wasserstein space. We deploy our tools to study and solve optimization problems in the setting of distributionally robust optimization and statistical inference. The generality of our methodology allows us to naturally deal with functionals, such as mean-variance, Kullback-Leibler divergence, and Wasserstein distance, which are traditionally difficult to study in a unified framework.

研究の動機と目的

• Wasserstein 空間における確率測度の制約付き最適化のための一次最適性条件を構築すること。
• 平均・分散、KL 発散、Wasserstein 距離といった汎関数の分析を、共通の枠組みで統一すること。
• 古典的な変分法を、Wasserstein 空間の非線形的・度量的構造へ拡張すること。
• 最適輸送を用いて、確率空間における最適化の幾何的・微分的基盤を提供すること。
• 分布ロバスト最適化および統計的推論問題における閉形式解の導出を可能にすること。

提案手法

• 最適輸送マップとそのプッシュフォワードを用いて、Wasserstein 空間の微分構造を形式化する。
• 変分法と Wasserstein 空間の幾何を組み合わせることで、一次必要・十分条件を導出する。
• 勾配フローと一般化された測地線の概念を用いて、勾配が整合しているという形で最適性を特徴付ける。
• Wasserstein ボールと KL 発散制約を含む最適化問題に理論を適用する。
• 最小エントロピー輸送マップを用いて、ガウス分布などの特定の分布クラスに対して閉形式解を導出する。
• Wasserstein 空間における一般化された測地線に沿った KL 発散の凸性により、一意性と最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 『勾配をゼロに設定する』や『最適性において勾配が整合している』といった標準的な一次最適性原理は、Wasserstein 空間における確率測度の最適化へ一般化可能か？
• RQ2 Wasserstein 空間の微分構造をどのように活用して、最適性の必要・十分条件を導出できるか？
• RQ3 平均・分散、KL 発散、Wasserstein 距離といった汎関数を、統一的な最適化枠組みで取り扱える範囲はどの程度か？
• RQ4 Wasserstein 模糊集合を伴う分布ロバスト最適化問題に対して、閉形式解を導出できるか？
• RQ5 最適輸送マップとその逆写像は、制約付き最適化における最適測度を特徴付ける上で果たす役割は何か？

主な発見

• Wasserstein 空間における一次最適性条件は、古典的な根拠を一般化する：『勾配をゼロに設定する』および『最適性において勾配が整合している』という原則が、この幾何的設定でも成り立つ。
• Wasserstein ボール制約問題における最適測度は、原始変数と双対変数を含む方程式系の解から導かれる輸送マップによって特徴付けられる。
• ガウス分布の場合、Wasserstein 模糊集合を伴う分布ロバスト最適化問題の最適解は、平均と分散の行列方程式を用いて閉形式で計算可能である。
• Wasserstein 空間における一般化された測地線に沿った KL 発散の凸性により、一意な最適解の存在が保証される。
• 二つのガウス分布間の最小エントロピー輸送問題の解は、シフトされた精度行列の逆行列を含む特定の行列表現によって、平均と分散を一致させる線形変換に対応する。
• Wasserstein 距離制約を満たすためにラグランジュ乗数 λ∗ を求めるための数値的根の探索手順が確立され、符号が負の実数直線上で変化する連続関数 f(λ) を解くことで実現される。