[論文レビュー] Entropic Optimal Transport between Unbalanced Gaussian Measures has a Closed Form

Hicham Janati, Boris Muzellec+2 more|arXiv (Cornell University)|Jun 3, 2020

Probabilistic and Robust Engineering Design参考文献 46被引用数 31

ひとこと要約

本論文は、ガウスメジャー間のエントロピー正規化最適輸送の閉形式公式を示し、非平衡ケースを含む。最適輸送計画はガウス分布であり、Sinkhorn反復の不動点が扱いやすい特徴付けを持つ。

ABSTRACT

Although optimal transport (OT) problems admit closed form solutions in a very few notable cases, e.g. in 1D or between Gaussians, these closed forms have proved extremely fecund for practitioners to define tools inspired from the OT geometry. On the other hand, the numerical resolution of OT problems using entropic regularization has given rise to many applications, but because there are no known closed-form solutions for entropic regularized OT problems, these approaches are mostly algorithmic, not informed by elegant closed forms. In this paper, we propose to fill the void at the intersection between these two schools of thought in OT by proving that the entropy-regularized optimal transport problem between two Gaussian measures admits a closed form. Contrary to the unregularized case, for which the explicit form is given by the Wasserstein-Bures distance, the closed form we obtain is differentiable everywhere, even for Gaussians with degenerate covariance matrices. We obtain this closed form solution by solving the fixed-point equation behind Sinkhorn's algorithm, the default method for computing entropic regularized OT. Remarkably, this approach extends to the generalized unbalanced case -- where Gaussian measures are scaled by positive constants. This extension leads to a closed form expression for unbalanced Gaussians as well, and highlights the mass transportation / destruction trade-off seen in unbalanced optimal transport. Moreover, in both settings, we show that the optimal transportation plans are (scaled) Gaussians and provide analytical formulas of their parameters. These formulas constitute the first non-trivial closed forms for entropy-regularized optimal transport, thus providing a ground truth for the analysis of entropic OT and Sinkhorn's algorithm.

研究の動機と目的

• エントロピー正規化OTを、不均衡輸送能力を持つスケーラブルな正則化として動機づける。
• エントロピー正規化の下で、バランスの取れたガウスOTの閉形式公式を導出。
• 非平衡ガウスOTへ拡張し、質量輸送/破壊のトレードオフを特徴づける。
• 最適輸送計画はガウス分布であり、パラメータの明示的な表現を提供。
• 理論的および経験的に閉形式表現を検証。

提案手法

• Sinkhornフレームワークを用いて、KL項を含むエントロピー正規化と非平衡質量を持つOTを定式化する。
• ガウス族の固定点（中心化、二次ポテンシャル）を分析して閉形式表現を得る。
• 行列（A, B）と補助的なF, G を用いてSinkhornポテンシャルと輸送計画パラメータの明示的表現を導出。
• 最適計画がR^d x R^d上のガウス分布であることを証明し、A、Bおよび正則化パラメータから平均/共分散を与える。
• 平衡の結果を非平衡ケースへ拡張し、総輸送質量 m_pi を含む UOT_sigma の閉形式を導出。
• 補助定理（レマ1-2）および命題（命題1-7）を提供して固定点と行列式ベース計算を支える。

実験結果

リサーチクエスチョン

• RQ1 平衡および非平衡質量制約の下で、ガウスメジャー間のエントロピー正規化OTを閉形式で表現できるか。
• RQ2 エントロピー正規化下のガウス間最適輸送計画はガウス分布であり、そのパラメータを解析的に計算できるか。
• RQ3 非平衡質量制約は、ガウス間のOTにおける輸送と破壊のトレードオフをどう変えるか。
• RQ4 Sinkhorn反復はガウスに対して明示的な閉形式ポテンシャルを生む固定点表現を持つか。
• RQ5 ガウス設定におけるエントロピーOTコストの微分可能性と凸性の特性は何か。

主な発見

• ガウス測度間のOT_sigmaの閉形式表現を得て、距離を平均二乗距離の和とガウス関連項 B_sigma^2(A,B) として現す。
• エントロピーOT計画はガウス分布であり、A,Bと横断項C_sigmaを含むブロック共分散行列で平均と共分散を明示。
• 共分散行列が特異でも解が定義され微分可能である点は、Bures距離と異なる。
• 非平衡ガウスOTの同様の閉形式を導出し、質量 m_pi を持つガウス輸送計画と二重ポテンシャル構造を得る。
• ガウスSinkhorn因子の固定点方程式は扱いやすい行列方程式に還元され、最適ポテンシャル (U, V) と輸送計画の直接計算が可能。
• 数値実験は閉形式公式への収束を検証し、正則化と非平衡質量が輸送計画に与える影響を示す。