[論文レビュー] Sharp Convergence Rates for Empirical Optimal Transport with Smooth Costs

Tudor Manole, Jonathan Niles‐Weed|arXiv (Cornell University)|Jun 24, 2021

Markov Chains and Monte Carlo Methods参考文献 45被引用数 9

ひとこと要約

この論文は、滑らかなコスト関数を持つ場合の、プラグイン推定量による最適輸送コストの鋭い収束速度を確立し、標準的な n^{-1/d} と比較して、ほぼ n^{-2/d} の2次的に速い収束速度を示している。この改善は滑らかさに起因し、Empirical process theory と被覆数制御を用いて、タイトな上界と下界を証明している。

ABSTRACT

We revisit the question of characterizing the convergence rate of plug-in estimators of optimal transport costs. It is well known that an empirical measure comprising independent samples from an absolutely continuous distribution on $\mathbb{R}^d$ converges to that distribution at the rate $n^{-1/d}$ in Wasserstein distance, which can be used to prove that plug-in estimators of many optimal transport costs converge at this same rate. However, we show that when the cost is smooth, this analysis is loose: plug-in estimators based on empirical measures converge quadratically faster, at the rate $n^{-2/d}$. As a corollary, we show that the Wasserstein distance between two distributions is significantly easier to estimate when the measures are well-separated. We also prove lower bounds, showing not only that our analysis of the plug-in estimator is tight, but also that no other estimator can enjoy significantly faster rates of convergence uniformly over all pairs of measures. Our proofs rely on empirical process theory arguments based on tight control of $L^2$ covering numbers for locally Lipschitz and semi-concave functions. As a byproduct of our proofs, we derive $L^\infty$ estimates on the displacement induced by the optimal coupling between any two measures satisfying suitable concentration and anticoncentration conditions, for a wide range of cost functions.

研究の動機と目的

• コスト関数が滑らかである場合の、最適輸送コストのプラグイン推定量の収束速度を特定すること。
• コスト関数が滑らかである場合、標準的な n^{-1/d} の収束速度が緩く、n^{-2/d} のより速いレートが達成可能であることを示すこと。
• すべての測度ペアに対して一様に、n^{-2/d} より著しく速いレートを達成できる推定量が存在しないことを示すミニマックス下界を確立すること。
• 濃度および反濃度条件の下で、最適カップリングに起因する変位マップの L^∞ 評価を導出すること。
• 経験的最適輸送の理論的分析を、滑らかなコスト関数に対して、経験過程理論と被覆数を統合的に扱うこと。

提案手法

• 局所リプシッツ的かつ準凸関数の L^2 被覆数を制御するため、経験過程理論を用いる。
• 被覆数のタイトな制御を用いて、経験的最適輸送コストとその母集団値との乖離をバインドする。
• 一般のコスト関数に対して、濃度および反濃度条件の下で変位マップの L^∞ 評価を導出する。
• 2つの測度族を構築することで、ミニマックステストの議論を用いて下界を証明する。
• カイ二乗発散と全変動距離を用いた測度の変更議論を用いて、テスト問題を構築する。
• マルコフの不等式と確率的バインドを用いて、すべての推定量に対して期待推定誤差の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 コスト関数が滑らかである場合、経験的最適輸送の標準的な n^{-1/d} 収束速度は改善可能か？
• RQ2 滑らかなコスト関数を持つ最適輸送コストのプラグイン推定量の最適収束速度は何か？
• RQ3 n^{-2/d} のレートはタイトか？ すべての測度ペアに対して一様に、より著しく速いレートを達成できる推定量は存在するか？
• RQ4 濃度および反濃度条件は、最適輸送における変位マップにどのように影響するか？
• RQ5 被覆数は、経験的最適輸送コストの乖離を制御するために果たす役割は何か？

主な発見

• 滑らかなコスト関数に対しては、最適輸送コストのプラグイン推定量は n^{-2/d} のレートで収束し、標準的な n^{-1/d} のレートよりも2次的に速い。
• p ≥ 2 の場合、p- Wasserstein 距離において、n^{-2/d} のレートはタイトであり、ある定数 C に対して期待誤差が C n^{-2/d} で抑えられる。
• 1 ≤ p ≤ 2 の場合、レートは n^{-p/d} であり、n^{-2/d} より遅いが、p < 2 のときには依然として n^{-1/d} より速い。
• この論文は、すべての測度ペアに対して一様に n^{-2/d} より速いレートを達成できる推定量が存在しないことを示すミニマックス下界を証明している。
• 濃度および反濃度条件の下で、変位マップの L^∞ バインドを導出し、これが被覆数推定の制御に不可欠であることを明らかにした。
• 分析から、コスト関数の滑らかさに起因し、測度 μ と ν が十分に分離されている場合、収束速度が著しく向上することが判明した。