[論文レビュー] Generalized Talagrand Inequality for Sinkhorn Distance using Entropy Power Inequality

Shuchan Wang, Photios A. Stavrou+1 more|arXiv (Cornell University)|Sep 17, 2021

Point processes and geometric inequalities参考文献 26被引用数 2

ひとこと要約

この論文は、エントロピー・パワー不等式（EPI）を用いて、無限小的移動凸性とEPIの飽和を活用することで、Sinkhorn距離に対する新しいTalagrand型不等式を確立する。強対数凸分布へのガウス型Talagrand結果の一般化を実現する2つの新しい不等式を導出し、ガウス分布およびi.i.d.コーシー分布の明示的表現を提示するとともに、さまざまな分布における数値的検証を実施する。

ABSTRACT

In this paper, we study the connection between entropic optimal transport and entropy power inequality (EPI). First, we prove an HWI-type inequality making use of the infinitesimal displacement convexity of optimal transport map. Second, we derive two Talagrand-type inequalities using the saturation of EPI that corresponds to a numerical term in our expression. We evaluate for a wide variety of distributions this term whereas for Gaussian and i.i.d. Cauchy distributions this term is found in explicit form. We show that our results extend previous results of Gaussian Talagrand inequality for Sinkhorn distance to the strongly log-concave case.

研究の動機と目的

• エントロピー最適輸送を用いて、Wasserstein距離からSinkhorn距離へのTalagrand型不等式の拡張を目的とする。
• EPI飽和条件を介して、エントロピー・パワー不等式（EPI）とエントロピー最適輸送の間の関係を確立する。
• 既存のガウス型Talagrand不等式を、強対数凸分布のより広いクラスへSinkhorn距離に対して一般化することを目的とする。
• EPI飽和に起因する数値的項を計算・分析し、ガウス分布およびi.i.d.コーシー分布を含むさまざまな分布に対して評価する。
• 数値的シミュレーションを用いて理論的境界を検証し、GAN やリレーチャネルを含む機械学習文脈における実用的意義を示すこと。

提案手法

• 最適輸送写像の無限小的移動凸性を用いて、Bolleyの証明技法を適合させ、Sinkhorn距離に対するHWI型不等式を導出する。
• EPIの飽和に関連する重要な数値的項を導入し、エントロピー正則化によって生じる不確実性を定量化する。
• EPI飽和条件を適用して、2つの新しいTalagrand型不等式（定理3および定理4）を導出し、一方はBolleyの結果を回復し、他方はBaiらのガウス型結果を回復する。
• Brenierの定理を用いて勾配写像を介して最適カップリングを構築し、微分エントロピーとフィッシャー情報に基づいてSinkhorn距離の境界を導出する。
• Radon-Nikodym微分と部分積分を用いて、凸性および微分幾何学的道具を活用し、輸送コストをエントロピーおよびフィッシャー情報の項で境界づける。
• 数値的シミュレーションを実施し、境界の評価を実施。特に、非ガウス型ポテンシャル（V(x) = (x/5)²/2 + |x/10| + e^(-|x/10|) + k）に対して、特定の条件下でタイトさを示す。

実験結果

リサーチクエスチョン

• RQ1 エントロピー・パワー不等式（EPI）を用いて、Sinkhorn距離に対する新しいTalagrand型不等式を導出可能か？
• RQ2 EPIの飽和は、導出された不等式における数値的項とどのように関係し、特定の分布に対してその値は何か？
• RQ3 ガウス型Talagrand不等式を、Sinkhorn距離に関して強対数凸分布へどの程度一般化できるか？
• RQ4 Bolley や Bai らの研究と比較して、導出された不等式は既存の結果とどのように異なるか？
• RQ5 導出された境界の数値的挙動は、さまざまな分布に対してどのように変化するか？実際にはどの程度タイトか？

主な発見

• 無限小的移動凸性を活用することで、Sinkhorn距離に対する新しいHWI型不等式が導出され、輸送コストとエントロピー項の間の関係が確立された。
• EPIの飽和を用いて、2つの新しいTalagrand型不等式が証明され、エントロピー正則化の効果を捉える重要な数値的項が含まれる。
• ガウス分布およびi.i.d.コーシー分布に対して、EPI飽和項が明示的に計算可能であり、Sinkhorn距離の明確な境界が得られる。
• 定理3は、強対数凸測度に対するBolleyの次元的Talagrand不等式を回復し、理論的枠組みの妥当性を裏付けた。
• 定理4は、Bai らのガウス型Talagrand不等式を回復し、先行研究との一貫性を確認した。
• 数値的シミュレーションにより、導出された境界（10）が非ガウス型ポテンシャルにおいて相対的にタイトであることが示され、GAN や情報理論的チャネル容量推定といった機械学習応用分野における実用的意義を示唆した。