[論文レビュー] Empirical Optimal Transport between Different Measures Adapts to Lower Complexity

Shayan Hundrieser, Thomas Staudt+1 more|arXiv (Cornell University)|Feb 21, 2022

Markov Chains and Monte Carlo Methods被引用数 10

ひとこと要約

本稿では、経験的最適輸送（OT）コストの収束速度が、2つの確率測度のうちより複雑さが低い方の測度に支配されることを確立し、これを低複雑性適応（LCA）と呼ぶ。リプシッツ連続なコスト関数では、片方の測度が $ d $ 次元の多様体上にある場合、収束速度は $ n^{-1/d} $ 以上である。半濃度なコスト関数では $ n^{-2/d} $ に改善され、半離散的OTでは $ n^{-1/2} $ に達する。これはもう一方の測度の複雑さにかかわらず成り立つ。

ABSTRACT

The empirical optimal transport (OT) cost between two probability measures from random data is a fundamental quantity in transport based data analysis. In this work, we derive novel guarantees for its convergence rate when the involved measures are different, possibly supported on different spaces. Our central observation is that the statistical performance of the empirical OT cost is determined by the less complex measure, a phenomenon we refer to as lower complexity adaptation of empirical OT. For instance, under Lipschitz ground costs, we find that the empirical OT cost based on $n$ observations converges at least with rate $n^{-1/d}$ to the population quantity if one of the two measures is concentrated on a $d$-dimensional manifold, while the other can be arbitrary. For semi-concave ground costs, we show that the upper bound for the rate improves to $n^{-2/d}$. Similarly, our theory establishes the general convergence rate $n^{-1/2}$ for semi-discrete OT. All of these results are valid in the two-sample case as well, meaning that the convergence rate is still governed by the simpler of the two measures. On a conceptual level, our findings therefore suggest that the curse of dimensionality only affects the estimation of the OT cost when both measures exhibit a high intrinsic dimension. Our proofs are based on the dual formulation of OT as a maximization over a suitable function class $\mathcal{F}_c$ and the observation that the $c$-transform of $\mathcal{F}_c$ under bounded costs has the same uniform metric entropy as $\mathcal{F}_c$ itself.

研究の動機と目的

• 源および標的測度が異なり、かつ異なる空間上に支持される場合の経験的最適輸送（OT）コストの収束速度を確立すること。
• 測度の内因的次元が経験的OT推定子の統計的性能に与える影響を調査すること。
• 収束速度が埋め込み次元ではなく、より複雑さが低い測度に支配されることになる条件を同定すること。
• 半離散的OTおよび一般のリプシッツ連続および半濃度なコスト関数に対して、収束速度の理論的保証を提供すること。
• 片方の測度が低次元の内因的次元を持つ場合、OTにおける次元の呪いが緩和されることを示すこと。

提案手法

• 関数族 $ ilde{}_{c} $ 上でのOTの双対形式の理論的分析。均一なメトリックエントロピーの境界を活用する。
• $ ilde{}_{c} $ の $ c $-変換が $ ilde{}_{c} $ と同じ均一メトリックエントロピーを持つことを確立し、エントロピーに基づく収束制御を可能にする。
• リプシッツ連続、半濃度、半離散的OTの異なるコスト構造に対して、メトリックエントロピーの議論を用いて収束速度を導出する。
• ダドリーのエントロピー積分と対称化技術を用い、経験的OTコストと母集団値との期待値の乖離を評価する。
• 収束速度が、他の測度が任意または高次元であっても、内因的次元が低い測度に支配されることを活用する。
• 半離散的および多様体設定におけるシミュレーションを通じて理論的結果を検証し、予測された漸近的収束速度を確認する。

実験結果

リサーチクエスチョン

• RQ1 経験的OTコストの収束速度は、源および標的測度の内因的次元にどのように依存するか？
• RQ2 他の測度が高次元空間上に支持されていても、経験的OTコストがより単純な測度の複雑さに適応できるか？
• RQ3 リプシッツ連続および半濃度なコスト関数下での経験的OTの収束速度は何か？また、それらはサポートの次元に依存するか？
• RQ4 半離散的OT設定では、埋め込み次元に依存しない収束速度を示すか？その場合の速度は何か？
• RQ5 特に加法的コスト関数のような特定の設定では、理論的境界がタイトであるか、あるいはタイトでない場合があるか？

主な発見

• リプシッツ連続コスト関数では、片方の測度が $ d $ 次元の多様体上に支持されている場合、収束速度は $ n^{-1/d} $ である。これはもう一方の測度の複雑さにかかわらず成り立つ。
• 半濃度なコスト関数では、収束速度が $ n^{-2/d} $ に改善され、再びより低い次元の測度に支配される。
• 半離散的OT設定では、収束速度は $ n^{-1/2} $ に達する。これは連続空間の次元や原子の数に依存しない。
• 収束速度は内因的次元が低い測度に支配され、これを低複雑性適応（LCA）と呼ぶ。この現象により、次元の呪いが緩和される。
• シミュレーションにより理論的収束速度が確認された：$ l_2^2 $ および $ l_1 $ コストの半離散的設定では、漸近的に収束速度が $ n^{-1/2} $ に低下する。
• 理論的境界は多くの設定でタイトであるが、加法的コストのような特殊な場合では、パラメトリックな速度 $ n^{-1/2} $ が達成されるものの、主定理ではその結果が捉えられていないため、改善が必要となる場合がある。