[論文レビュー] Learning Probability Measures with respect to Optimal Transport Metrics

Guillermo D. Cañas, Lorenzo Rosasco|arXiv (Cornell University)|Sep 5, 2012

Machine Learning and Algorithms参考文献 31被引用数 30

ひとこと要約

本稿は、多様体上に支持を持つ確率測度の学習における収束速度を、最適輸送距離（特に2- Wasserstein距離）を用いて確立する。最適輸送、量子化、教師なし学習を結びつけることで、k-meansと経験的測度が $ n^{-1/(2d+4)} $ のレートで収束することを示すタイトな確率的バウンドを導出する。このバウンドは、測度の密度正則性を表す $ m(\rho_A) $ に依存する。

ABSTRACT

We study the problem of estimating, in the sense of optimal transport metrics, a measure which is assumed supported on a manifold embedded in a Hilbert space. By establishing a precise connection between optimal transport metrics, optimal quantization, and learning theory, we derive new probabilistic bounds for the performance of a classic algorithm in unsupervised learning (k-means), when used to produce a probability measure derived from the data. In the course of the analysis, we arrive at new lower bounds, as well as probabilistic upper bounds on the convergence rate of the empirical law of large numbers, which, unlike existing bounds, are applicable to a wide class of measures.

研究の動機と目的

• サポートが低次元多様体上にある場合に、経験的測度およびk-meansから導かれる確率測度が真のデータ生成測度にどのように収束するかを分析すること。
• 有限サンプルから得られる推定値と真の測度との間の2-Wasserstein距離に対するタイトな確率的バウンドを確立すること。
• k-meansなどのアルゴリズムが経験的測度への2-Wasserstein距離を最小化することを示すことで、最適輸送、最適量子化、教師なし学習を結びつけること。
• 密度正則性項 $ m(\rho_A) $ を導入することにより、特異的または不規則な成分を含む広範な測度クラスに対して有効な収束速度を導出すること。

提案手法

• 経験的測度 $ \hat{\rho}_n $ と真の測度 $ \rho $ の収束を評価する主な指標として、2-Wasserstein距離 $ W_2(\rho, \hat{\rho}_n) $ を用いる。
• 3項の三角不等式分解を適用する：$ W_2(\rho, \hat{\rho}_n)^2 \leq 3\left[ W_2(\rho, \pi_{S_k}\rho)^2 + W_2(\pi_{S_k}\rho, \pi_{S_k}\hat{\rho}_n)^2 + W_2(\pi_{S_k}\hat{\rho}_n, \hat{\rho}_n)^2 \right] $、ここで $ S_k $ はk点量子化器である。
• 最適量子化理論の結果を用いて、最適量子化誤差 $ W_2(\rho, \pi_{S_k}\rho)^2 $ を $ \Theta(k^{-2/d}) $ に束縛する。
• 濃縮不等式を用いて、量子化器集合上での経験的期待値と真の期待値の乖離 $ \sup_{|S|=k} |\mathbb{E}_{x\sim\hat{\rho}_n} d(x,S)^2 - \mathbb{E}_{x\sim\rho} d(x,S)^2| $ を制御する。
• 量子化誤差と経験的乖離をバランスさせるために $ k $ でバウンドを最適化し、最適な選択 $ k = \Theta(n^{d/(2d+4)}) $ を得る。
• ガウス尾部バウンドを用いて高確率バウンドを導出し、$ W_2(\rho, \hat{\rho}_n) \leq C \cdot m(\rho_A) \cdot n^{-1/(2d+4)} \cdot \tau $ が確率 $ 1 - e^{-\tau^2} $ で成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 真の測度 $ \rho $ がd次元多様体上に支持を持つ場合、経験的測度 $ \hat{\rho}_n $ が2-Wasserstein距離で真の測度 $ \rho $ にどの程度の速度で収束するか。
• RQ2 k-meansが測度推定器としての性能は、経験的測度の2-Wasserstein収束においてどのように比較されるか。
• RQ3 非一様的または特異的成分を含む広範な測度クラスに対して有効な、経験的測度およびk-meansから導かれる測度の収束に関する確率的バウンドを導出できるか。
• RQ4 最適量子化は、真の測度とその推定値との間の2-Wasserstein距離をバウンドする上で果たす役割は何か。
• RQ5 密度の正則性を表す $ m(\rho_A) = \int \rho_A(x)^{d/(d+2)} d\lambda_{\mathcal{M}}(x) $ が収束速度に与える影響は何か。

主な発見

• 経験的測度 $ \hat{\rho}_n $ は、高確率で2-Wasserstein距離において $ n^{-1/(2d+4)} $ の速度で真の測度 $ \rho $ に収束する。
• 収束速度は、測度の正則性項 $ m(\rho_A) $ によって支配され、これは $ \rho $ の絶対連続部分の集中度を定量化する。
• k-meansが生成する測度 $ \pi_{\hat{S}_k}\hat{\rho}_n $ は、同じ $ n^{-1/(2d+4)} $ の速度で $ \rho $ に収束するため、k-meansは全経験的測度と同等の統計的効率性を持つことが示された。
• k-meansの最適なクラスタ数 $ k $ は $ \Theta(n^{d/(2d+4)}) $ であり、これは $ n $ に対して部分線形であるため、少数の代表点で近似的に最適な近似が達成可能であることを示している。
• k-meansのバウンドは経験的測度のバウンドより悪くない。なぜなら、k-meansの出力は部分最適な量子化器であり、最適量子化器の収束速度がk-meansより遅くなることはあり得ないからである。
• 現在のバウンドは統計的乖離項 $ \sup_{|S|=k} |\mathbb{E}_{\hat{\rho}_n} d(x,S)^2 - \mathbb{E}_{\rho} d(x,S)^2| $ に制限されており、この項の改善により全体の収束速度をさらに高められる可能性がある。