[論文レビュー] Gaussian-Smooth Optimal Transport: Metric Structure and Statistical Efficiency

Ziv Goldfeld, Kristjan Greenewald|arXiv (Cornell University)|Jan 24, 2020

Markov Chains and Monte Carlo Methods参考文献 29被引用数 5

ひとこと要約

この論文は、1- Wasserstein 距離の幾何的構造を保ちながら、高次元における経験的近似の次元の呪いを解消する、ガウスノイズ平滑化された最適輸送（GOT）という新しいフレームワークを導入する。確率測度を等方的ガウスノイズで畳み込むことで、GOT はあらゆる次元で $n^{-1/2}$ の収束速度を達成し、古典的 OT よりも優れており、エントロピー正則化 OT と同等の統計的効率性を維持しながらも、距離の性質を損なわない。

ABSTRACT

Optimal transport (OT), and in particular the Wasserstein distance, has seen a surge of interest and applications in machine learning. However, empirical approximation under Wasserstein distances suffers from a severe curse of dimensionality, rendering them impractical in high dimensions. As a result, entropically regularized OT has become a popular workaround. However, while it enjoys fast algorithms and better statistical properties, it looses the metric structure that Wasserstein distances enjoy. This work proposes a novel Gaussian-smoothed OT (GOT) framework, that achieves the best of both worlds: preserving the 1-Wasserstein metric structure while alleviating the empirical approximation curse of dimensionality. Furthermore, as the Gaussian-smoothing parameter shrinks to zero, GOT $Γ$-converges towards classic OT (with convergence of optimizers), thus serving as a natural extension. An empirical study that supports the theoretical results is provided, promoting Gaussian-smoothed OT as a powerful alternative to entropic OT.

研究の動機と目的

• 高次元機械学習応用における 1- Wasserstein 距離に見られる次元の呪いを解消すること。
• エントロピー正則化 OT で失われる 1- Wasserstein 距離の距離構造を保つこと。
• エントロピー正則化 OT と同等の高速な統計的収束速度を達成しながらも、適切な距離としての性質を保つフレームワークを構築すること。
• 提案された GOT フレームワーク下での経験的近似の収束速度に対する理論的保証を確立すること。
• 理論的主張を裏付ける実験的検証を提供し、GOT が既存の OT 方法の実用的代替手段として有効であることを位置づけること。

提案手法

• ガウスノイズ平滑化された最適輸送（GOT）を $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu) = \mathsf{W}_{1}(\mu \ast \mathcal{N}_\sigma, \nu \ast \mathcal{N}_\sigma)$ として定義する。ここで $\mathcal{N}_\sigma$ は分散 $\sigma^2$ の等方的ガウス分布である。
• Kantorovich-Rubinstein の双対性を用いて、GOT 距離を $\sup_{\|f\|_{\mathsf{Lip}} \leq 1} \mathbb{E}_{\hat{\mu}_n \ast \mathcal{G}_\sigma} f - \mathbb{E}_{\mu \ast \mathcal{G}_\sigma} f$ の形で表現する。
• Lipschitz関数とガウスカーネルの畳み込みのリプシッツ連続性を活用し、McDiarmid の不等式を経験的 GOT 距離に適用して集中不等式を導出する。
• GOT 距離 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ が $\sigma$ に関して連続的かつ単調に減少することを示し、$\mathsf{W}_{1}^{(0)}(\mu,\nu) = \mathsf{W}_{1}(\mu,\nu)$ となることから、$\sigma \to 0$ の極限で古典的 OT に収束することを保証する。
• 最適輸送計画が $\sigma \to 0$ のとき弱収束して古典的 OT の最適計画に収束することを証明し、解の一貫性を保証する。
• サブガウスノイズと有界かつ単調な密度関数の条件下で、$\mathbb{E}\left[\mathsf{W}_{1}^{(\sigma)}(\hat{\mu}_n, \mu)\right]$ の収束速度が $O(n^{-1/2})$ であることを導出する。この結果はすべての次元で成立する。

実験結果

リサーチクエスチョン

• RQ1 平滑化された最適輸送のバージョンは、1- Wasserstein 距離の距離構造を保ちながら、高次元における統計的収束を改善できるか？
• RQ2 ガウス平滑化は、特に1サンプル設定下で、経験的 OT 近似における次元の呪いを解消するか？
• RQ3 高次元設定下で、経験的 GOT 距離の収束速度はサンプルサイズ $n$ に対してどのようにスケーリングされるか？
• RQ4 平滑化パラメータ $\sigma \to 0$ の極限において GOT の挙動はいかなるものか？ そして、元の OT 解に回復するか？
• RQ5 提案されたフレームワークは、エントロピー正則化 OT や古典的 OT とは異なり、距離の性質と高速な統計的収束の両方を達成できるか？

主な発見

• ガウスノイズ平滑化された OT 距離 $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ は、1- Wasserstein 距離の距離構造を継承しており、弱収束のメトリシゼーションや測地的補間といった性質を有する。
• $\sigma \to 0$ のとき $\mathsf{W}_{1}^{(\sigma)}(\mu,\nu)$ は $\mathsf{W}_{1}(\mu,\nu)$ に収束し、GOT の最適輸送計画は弱収束して古典的 OT の最適計画に収束する。
• 経験的 GOT 距離 $\mathbb{E}\left[\mathsf{W}_{1}^{(\sigma)}(\hat{\mu}_n, \mu)\right]$ は、すべての次元で $O(n^{-1/2})$ の収束速度を示し、元の次元 $d$ に依存しない。
• この $n^{-1/2}$ の収束速度は、サブガウスノイズと平滑化カーネルの有界かつ単調な密度関数の条件下で成立し、1サンプル設定下での次元の呪いを実質的に解消する。
• GOT は収束速度の向上により古典的 OT よりも高次元で優れており、エントロピー正則化 OT で失われた距離構造を保っている。
• 実験的検証により理論的主張が裏付けられ、GOT が既存の OT 方法の統計的に効率的かつ距離構造を保つ代替手段として有効であることが示された。