[論文レビュー] Lower Complexity Adaptation for Empirical Entropic Optimal Transport

Michel Groppe, Shayan Hundrieser|arXiv (Cornell University)|Jun 23, 2023

Groundwater flow and contamination studiesEnvironmental Science被引用数 3

ひとこと要約

この論文は、経験的エントロピー最適輸送（EOT）推定子が、推定誤差が二つの元の確率測度のうち単純な方のみに依存する、下位複雑度適応（LCA）の原則を満たすことを確立している。著者らは、非漸近的バウンドを導出し、正則化パラメータ $ \varepsilon $ に $ \tilde{u}^{-d/2} $ の依存性を伴うパラメトリック $ n^{-1/2} $ のレートを示している。ここで $ d $ は単純な測度の次元である。この結果は、経験的シミュレーションと、単一の関数クラス上での双対表現を用いた、統計過程理論を用いた理論的分析によって裏付けられている。

ABSTRACT

Entropic optimal transport (EOT) presents an effective and computationally viable alternative to unregularized optimal transport (OT), offering diverse applications for large-scale data analysis. In this work, we derive novel statistical bounds for empirical plug-in estimators of the EOT cost and show that their statistical performance in the entropy regularization parameter $ε$ and the sample size $n$ only depends on the simpler of the two probability measures. For instance, under sufficiently smooth costs this yields the parametric rate $n^{-1/2}$ with factor $ε^{-d/2}$, where $d$ is the minimum dimension of the two population measures. This confirms that empirical EOT also adheres to the lower complexity adaptation principle, a hallmark feature only recently identified for unregularized OT. As a consequence of our theory, we show that the empirical entropic Gromov-Wasserstein distance and its unregularized version for measures on Euclidean spaces also obey this principle. Additionally, we comment on computational aspects and complement our findings with Monte Carlo simulations. Our techniques employ empirical process theory and rely on a dual formulation of EOT over a single function class. Crucial to our analysis is the observation that the entropic cost-transformation of a function class does not increase its uniform metric entropy by much.

研究の動機と目的

• 一般条件下で、エントロピー最適輸送（EOT）コストの経験的プラグイン推定子の統計的収束レートを確立すること。
• 経験的EOT推定子が、従来は正則化なしOTでのみ知られていた、下位複雑度適応（LCA）の原則を満たすかどうかを調査すること。
• 推定誤差が標本サイズ $ n $ およびエントロピー正則化パラメータ $ \varepsilon $ にどのように依存するかを分析すること、特に高次元設定での依存関係に注目すること。
• LCAの原則を、ユークリッド空間における経験的エントロピーGromov-Wasserstein距離およびSinkhorn発散に拡張すること。
• 実際の計算上の効率性が、Sinkhornアルゴリズムによって示されていることの理論的裏付けを提供し、統計的適応性と結びつけること。

提案手法

• 経験過程理論を用いて、経験的EOTコストの平均絶対偏差に対する非漸近的上界を導出する。
• 単一の関数クラス上でのEOTの双対表現を用い、関数クラスのエントロピー変換の分析を可能にする。
• 重要な技術的洞察を提示：エントロピー変換を施した関数クラスの一様メトリックエントロピーは、元のクラスに比べて僅かに増加する。
• メトリックエントロピーに基づく集中不等式を用いて、経験的推定子と真のEOTコストとの乖離を制御する。
• 有界なコスト関数と部分的に非有界なコスト関数の両方を扱い、後者は二乗ユークリッドノルムおよびサブガウスチャ測度に制限される。
• モンテカルロシミュレーションを通じて理論的結果を検証し、立方体、半離散的、ユークリッド設定を含む複数の設定で実施。

実験結果

リサーチクエスチョン

• RQ1 経験的EOTコスト推定子は、二つの測度のうち単純な方のみに依存する下位複雑度適応（LCA）の原則を満たすか？
• RQ2 推定誤差が標本サイズ $ n $ および正則化パラメータ $ \varepsilon $ にどのように依存するか、特に高次元での依存関係は何か？
• RQ3 LCAの原則は、経験的エントロピーGromov-Wasserstein距離およびSinkhorn発散へと拡張可能か？
• RQ4 エントロピーコスト変換を施した関数クラスの一様メトリックエントロピーはどのように振る舞い、推定誤差のバウンドにどのような役割を果たすか？
• RQ5 EOTにおけるパラメトリック $ n^{-1/2} $ 収束レートは鋭いのか？また、$ \varepsilon $-依存性は誤差バウンドの定数にどのように影響するか？

主な発見

• 経験的EOTコスト推定子は、単純な測度の次元 $ d $ に依存する $ \varepsilon^{-d/2} $ に依存するパラメトリック収束レート $ n^{-1/2} $ を達成し、LCAの原則が裏付けられた。
• 有界なコスト関数に対しては、エントロピー変換を施した関数クラスのメトリックエントロピーのバウンドにより推定誤差が制御され、変換後も僅かに増加するにとどまる。
• 理論的およびシミュレーション結果を通じて、LCAの原則が、ユークリッド空間における経験的エントロピーGromov-Wasserstein距離およびSinkhorn発散へと拡張可能であることが示された。
• 立方体および半離散的設定におけるシミュレーションにより、$ n^{-1/2} $ レートが確認され、次元が高くなるか、点数が増加すると推定誤差が低下することが判明し、特定の構造的配置に利点があることが示唆された。
• Sinkhornアルゴリズムは、$ \mathcal{O}(n^{2.5}) $ の計算量で経験的EOTコストを計算し、事前に単純な測度の内在的複雑度を知らなくても、自動的にそれに適応する。
• 固定された $ \varepsilon > 0 $ に対して、$ n^{-1/2} $ レートは $ n $ に関して鋭いが、定数における正確な $ \varepsilon $-依存性は未解決のままである。ただし、有界な場合の $ \varepsilon^{-d/2} $ スケーリングは確立されている。