[論文レビュー] Asymptotics of Entropy-Regularized Optimal Transport via Chaos Decomposition

Zaïd Harchaoui, Lang Liu+1 more|arXiv (Cornell University)|Nov 17, 2020

Statistical Mechanics and Entropy参考文献 40被引用数 5

ひとこと要約

本稿では、N 個の粒子に対する静的シュレーディンガー橋として最適輸送結合を定式化する修正された離散エントロピー正則化を導入し、連続的シュレーディンガー橋への収束を示し、明示的な N^{-1/2} および N^{-1} の誤差項を伴う。関数的中心極限定理および2次ガウス混同極限を確立し、従来の有限状態空間および二次コストを超えて、経験測度の新規な混同分解を用いて一般化した。

ABSTRACT

Consider the problem of estimating the optimal coupling (i.e., matching) between $N$ i.i.d. data points sampled from two densities $ ho_0$ and $ ho_1$ in $\mathbb{R}^d$. The cost of transport is an arbitrary continuous function that satisfies suitable growth and integrability assumptions. For both computational efficiency and smoothness, often a regularization term using entropy is added to this discrete problem. We introduce a modification of the commonly used discrete entropic regularization (Cuturi '13) such that the optimal coupling for the regularized problem can be thought of as the static Schrodinger bridge with $N$ particles. This paper is on the asymptotic properties of this discrete Schrodinger bridge as $N$ tends to infinity. We show that it converges to the continuum Schrodinger bridge and derive the first two error terms of orders $N^{-1/2}$ and $N^{-1}$, respectively. This gives us functional CLT, including for the cost of transport, and second order Gaussian chaos limits when the limiting Gaussian variance is zero, extending similar recent results derived for finite state spaces and the quadratic cost. The proofs are based on a novel chaos decomposition of the discrete Schrodinger bridge by polynomial functions of the pair of empirical distributions as a first and second order Taylor approximations in the space of measures. This is achieved by extending the Hoeffding decomposition from the classical theory of U-statistics. The kernels corresponding to the first and second order chaoses are given by Markov operators which have natural interpretations in the Sinkhorn algorithm.

研究の動機と目的

• 粒子数 N が無限大に近づく際のエントロピー正則化最適輸送の漸近的挙動を分析すること。
• 有限状態空間および二次コストに限らない一般連続密度および任意のコスト関数に対して、関数的中心極限定理および2次混同極限を拡張すること。
• 新規な混同分解を用いて、離散エントロピー最適輸送と連続的シュレーディンガー橋との間の厳密な数学的枠組みを構築すること。
• 離散結合の連続的極限への収束における1次および2次誤差項を特定すること。

提案手法

• N 個の同分布独立粒子に対する最適結合を静的シュレーディンガー橋として解釈する修正された離散エントロピー正則化を導入する。
• 経験測度の多項式関数を1次および2次テイラー近似として用いる、離散シュレーディンガー橋の新規な混同分解を適用する。
• U統計量の古典的ハウフィング分解を確率測度の空間に拡張し、1次および2次混同に対応するカーネルを導出する。
• 混同カーネルをマコフ作用素として特定し、Sinkhornアルゴリズムにおける解釈を自然に与える。
• 離散結合が N^{-1/2} および N^{-1} の誤差項を伴って連続的シュレーディンガー橋に収束することを確立する。
• 関数的中心極限定理および2次ガウス混同極限を導出し、極限ガウス分散がゼロとなる場合を含む。

実験結果

リサーチクエスチョン

• RQ1 N → ∞ のとき、離散エントロピー正則化最適輸送結合はどのように連続的シュレーディンガー橋に収束するか？
• RQ2 この収束における1次および2次漸近的誤差項は何か？また、次元およびコスト関数にどのように依存するか？
• RQ3 一般密度および連続コスト関数のもとで、輸送コストおよび結合に関する関数的中心極限定理を確立できるか？
• RQ4 混同分解は、離散結合の極限まわりのフラクチュエーションを特定する上で果たす役割は何か？
• RQ5 混同分解に現れるマコフ作用素は、Sinkhornアルゴリズムのステップとどのように関係するか？

主な発見

• 離散シュレーディンガー橋は、N → ∞ のとき、N^{-1/2} および N^{-1} の誤差項を伴って連続的シュレーディンガー橋に収束する。
• 一般連続コスト関数および R^d 上の一般密度に対して、最適結合および輸送コストに関する関数的中心極限定理が確立される。
• 極限ガウス分散がゼロとなる場合を含め、2次ガウス混同極限が導出され、従来の二次コストおよび有限状態空間を超えて拡張された。
• 1次混同成分は、Sinkhornアルゴリズムの1回目の反復に対応するマコフ作用素から生じる。
• 2次混同成分は、経験測度近似における2次フラクチュエーションを捉えるマコフ作用素によって支配される。
• 一般化されたハウフィング型分解を用いたU統計量の空間における一般化されたHoeffding型分解により、混同分解が構築され、漸近展開の導出が可能になった。