[論文レビュー] On the Minimax Optimality of Estimating the Wasserstein Metric

Tengyuan Liang|arXiv (Cornell University)|Aug 27, 2019

Geometric Analysis and Curvature Flows参考文献 10被引用数 9

ひとこと要約

本稿では、i.i.d.標本を用いた2つの確率測度間の Wasserstein-1 距離を推定する際のミニマックス最適レートを確立している。測度自体を Wasserstein 距離の下で推定するのと比べて、距離そのものを推定することは著しく簡単ではないことを示しており、推定レートは、$\log\log n / \log n$ の対数要因を除いて、測度を推定するレートと乗法的に同等である。これは、滑らかさの条件の下で、平滑化された経験測度に基づくプラグイン推定量が、この要因を除いてミニマックス最適であることを示している。

ABSTRACT

We study the minimax optimal rate for estimating the Wasserstein-$1$ metric between two unknown probability measures based on $n$ i.i.d. empirical samples from them. We show that estimating the Wasserstein metric itself between probability measures, is not significantly easier than estimating the probability measures under the Wasserstein metric. We prove that the minimax optimal rates for these two problems are multiplicatively equivalent, up to a $\log \log (n)/\log (n)$ factor.

研究の動機と目的

• i.i.d.標本に基づいて、2つの未知の確率測度間の Wasserstein-1 距離を推定するミニマックス最適レートを特定すること。
• Wasserstein 距離を直接推定することは、Wasserstein 距離の下で元の確率測度を推定するのと比べて著しく簡単であるかどうかを調査すること。
• 滑らかに処理された経験測度を用いたプラグイン推定量が、Wasserstein 距離を推定する際に最適であるかどうかを評価すること。
• 推定レートの等価性を、Wasserstein 距離の推定と測度の推定との間で、対数要因を除いて確立すること。

提案手法

• 確率測度の密度が $[0,1]^d$ 上で $\mathsf{C}^\beta(M)$ に属する Hölder スムーズネスクラス $\mathcal{G}_\beta$ を用いる。
• 全変動距離で近いが Wasserstein 距離で異なる2つの確率測度 $p_0, p_1$ を用いた2点検定法により下界を導出する。
• バイアスと分散を制御するため、波ウェーブレットに基づく平滑化を用いたプラグイン推定量により上界を構築する。
• 推定量は $W(\widetilde{\mu}_m, \widetilde{\nu}_n) = \sup_{f \in \text{Lip}(1)} |\int f d\widetilde{\mu}_m - \int f d\widetilde{\nu}_n|$ を計算する。ここで $\widetilde{\mu}_m, \widetilde{\nu}_n$ は波ウェーブレットで平滑化された経験測度である。
• 誤差は、波ウェーブレット係数の推定誤差と、レベル $J$ で切断した波ウェーブレット展開からの近似誤差に分解され、$2^{dJ} \asymp n^{1/(2\beta/d + 1)}$ により両者をバランスさせる。
• Besov 空間 $\mathsf{B}^{1,\infty}_\infty$ と $\mathsf{B}^{\beta,\infty}_\infty$ の波ウェーブレット特徴づけを用いて、Lipschitz関数上の上界を制御する。

実験結果

リサーチクエスチョン

• RQ1 2つの確率測度間の Wasserstein-1 距離を推定することは、Wasserstein 距離の下でそれらの測度を推定するのと比べて著しく簡単であるか？
• RQ2 元の測度が Hölder スムーズな密度を持つ場合、$W(\mu, \nu)$ を推定するミニマックス最適レートは何か？
• RQ3 滑らかに処理された経験測度に基づくプラグイン法以外の推定量は、より速い収束レートを達成できるか？
• RQ4 Wasserstein 距離の推定におけるミニマックスレートは、Wasserstein 距離の下での密度推定のレートと比べてどうか？
• RQ5 $\log\log n / \log n$ の対数要因が、距離推定と測度推定の間のレート等価性に果たす役割は何か？

主な発見

• Wasserstein-1 距離 $W(\mu, \nu)$ を推定するミニマックス最適レートは、$\log\log(n \wedge m)/\log(n \wedge m)$ の要因を除いて、$\asymp (n \wedge m)^{-(\beta+1)/(2\beta + d)}$ に比例する。
• 下界により、任意の推定量が $\asymp (n \wedge m)^{-(\beta+1)/(2\beta + d)} \cdot \log\log(n \wedge m)/\log(n \wedge m)$ より速いレートを達成することは不可能であることが示された。
• 波ウェーブレットで平滑化されたプラグイン推定量による上界は、$\precsim (n \wedge m)^{-(\beta+1)/(2\beta + d)}$ のレートを達成しており、プラグイン手法が対数要因を除いてミニマックス最適であることを証明している。
• レートの等価性は、Wasserstein 距離を推定することは、Wasserstein 距離の下で元の測度を推定するのと著しく簡単ではないことを示している。
• $\log\log n / \log n$ の対数要因は、2つの問題間のレートギャップにおいて避けられないものであり、非プラグイン推定量がこの要因を上回ってレートを改善することはできないことを示している。
• 結果は $d \geq 2$ かつ Hölder スムーズネス条件 $\mathcal{G}_\beta$ の下で成り立ち、レートはスムーズネス $\beta$ と次元 $d$ に依存する。