[論文レビュー] The statistical effect of entropic regularization in optimal transportation

Eustasio del Barrio, Jean–Michel Loubes|arXiv (Cornell University)|Jun 9, 2020

Statistical Mechanics and Entropy参考文献 20被引用数 10

ひとこと要約

本稿は、多変量正規分布間のエントロピー正則化最適輸送に対して閉形式解を提供し、正則化された輸送計画が共分散行列を $\Sigma_1 + \frac{\varepsilon}{2}I_d$ だけシフトすることを明らかにした。さらに、正規分布のエントロピー重心が依然として正規分布のままであることを示し、共分散は固定点行列方程式によって解かれる。これにより、Sinkhornアルゴリズムにおける正則化の統計的および計算的効果について理論的な明確さが得られた。

ABSTRACT

We propose to tackle the problem of understanding the effect of regularization in Sinkhorn algotihms. In the case of Gaussian distributions we provide a closed form for the regularized optimal transport which enables to provide a better understanding of the effect of the regularization from a statistical framework.

研究の動機と目的

• エントロピー正則化が最適輸送に与える統計的影響を理解すること、特にSinkhornアルゴリズムの文脈において。
• 多変量正規分布間の正則化最適輸送に対して閉形式表現を導出すること。
• ガウス混合分布のエントロピー重心の構造を特徴づけ、その存在と一意性を確立すること。
• 正則化パラメータ $\varepsilon$ が輸送計画の統計的収束速度および幾何的性質に与える影響を定量化すること。
• 正則化最適輸送における計算効率と統計的一致性のギャップを埋めること。

提案手法

• 行列代数とシュレーディンガー系を用いて、平均がゼロの2つの多変量正規分布間のエントロピー正則化最適輸送の閉形式解を導出する。
• Sinkhornアルゴリズムの枠組みを用い、エントロピー罰則 $\varepsilon H(\pi)$ を持つ厳密に凸な最適化問題として正則化輸送をモデル化する。
• 行列関数計算を適用して双対問題を解き、行列積の平方根を含む固定点方程式にたどり着く。
• ボルワーアの定理を用いてコン pact 凸集合内での固定点の存在を証明することで、正則化重心の存在と一意性を確立する。
• k 個の正規分布の重心を、入力の平均の重み付き平均である平均と、非線形行列方程式を解いて得られる共分散を持つ正規分布として特徴づける。
• 行列の符号関数および対数行列式の性質を用いて、正則化コスト関数の凸性と最小化を分析する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は、2つの正規分布間の最適輸送計画の構造にどのように影響するか？
• RQ2 正規分布間のエントロピー正則化最適輸送に対して閉形式解を導出できるか？
• RQ3 正則化パラメータ $\varepsilon$ が、経験的正則化最適輸送の収束速度に与える統計的影響は何か？
• RQ4 正規分布のエントロピー重心は依然として正規分布のままであるか？ もしそうであれば、その共分散はどのように決定されるか？
• RQ5 正則化パラメータ $\varepsilon \to 0$ の極限において、正則化重心は古典的ワッサーシュタイン重心とどのように関係するか？

主な発見

• 平均がゼロで共分散が $\Sigma_1$ と $\Sigma_2$ の2つの正規分布間の正則化最適輸送では、$\Sigma_2 = \Sigma_1 + \frac{\varepsilon}{2}I_d$ のとき輸送コストが最小化され、正則化による直接的なシフトが生じることが示された。
• 正規分布間の正則化輸送コストの閉形式解は、$\mathcal{W}_{2,\varepsilon}^2(P_1,P_2) = \text{Tr}(\Sigma_2) - 2\text{Tr}(\Sigma_1 X_\varepsilon) - \frac{\varepsilon}{2}\log|\Sigma_1 X_\varepsilon|$ として導出され、ここで $X_\varepsilon$ は行列方程式の解である。
• $\varepsilon$-正則化重心は、$k$ 個の正規分布 $P_i = N(\mu_i, \Sigma_i)$ の重心であり、$\mu_0 = \sum \lambda_i \mu_i$ と $\Sigma_0$ が $\Sigma_i$ と $\varepsilon$ を含む行列方程式によって一意に定まる正規分布 $N(\mu_0, \Sigma_0)$ である。
• 重心共分散 $\Sigma_0$ の行列方程式は $\sum_{i=1}^k \lambda_i \left( \Sigma_0^{-1/2}(\Sigma_0^{1/2}\Sigma_i\Sigma_0^{1/2} + (\frac{\varepsilon}{4})^2 I_d)^{1/2} \Sigma_0^{-1/2} + \frac{\varepsilon}{4}\Sigma_0^{-1} \right) = I_d$ であり、これは一意な正定値解を有する。
• 正則化重心は正規分布構造を保ち、エントロピー正則化に対して安定である。これは、古典的ワッサーシュタイン重心が位置スケール族を超えてこの性質を保つことができないのとは対照的である。
• 経験的正則化最適輸送の収束速度が $O(\frac{1}{\varepsilon^{2 + [5d/4]}} \cdot \frac{1}{\sqrt{n}})$ であることが示され、非正則化最適輸送の $n^{-1/d}$ のレートを上回る。これにより、正則化の統計的利点が強調された。