[論文レビュー] Strong equivalence between metrics of Wasserstein type

Erhan Bayraktar, Gaoyue Guo|arXiv (Cornell University)|Dec 17, 2019

Geometric Analysis and Curvature Flows参考文献 10被引用数 7

ひとこと要約

本稿は、$\mathbb{R}^d$ における max-sliced Wasserstein 距離 $\overline{\mathcal{W}}_1$ と古典的 Wasserstein 距離 $\mathcal{W}_1$ の強い等価性を、$\mathcal{W}_1$ の双対表現、1-Lipschitz 関数に特化した位相 $\tau$、および関数解析的技法を用いて確立する。これに対して、標準的な sliced Wasserstein 距離 $\mathcal{W}_1$ は同様の等価性を有さず、高次元データ応用において max-sliced 形式の優位性が浮き彫りになる。

ABSTRACT

We appended an errata to the original submission. The purpose of this errata is to point out two errors in [2] and give a weakened version of those statements made.

研究の動機と目的

• $\mathbb{R}^d$ における max-sliced Wasserstein 距離 $\overline{\mathcal{W}}_1$ と古典的 $\mathcal{W}_1$ 距離の強い等価性を確立すること。
• 標準的な sliced Wasserstein 距離 $\mathcal{W}_1$ が $\mathcal{W}_1$ と強い等価性を持たないことを示し、これに対して $\overline{\mathcal{W}}_2$ はその性質を持つことの対比を示すこと。
• $\mathbb{R}^d$ 内の 1-Lipschitz 関数の空間に特化した独自の位相 $\tau$ を含む関数解析的枠組みを構築すること。
• $a_k \geq 0$, $\|f_k\|_{\text{Lip}} \leq 1$, $\|\mathbf{v}_k\| = 1$ を満たす形の関数 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ が、位相 $\tau$ に関して $\text{Lip}_1(\mathbb{R}^d)$ で稠密であることを示すこと。
• 高次元設定における max-sliced 距離を標準的 sliced 距離よりも優先して使用する理論的根拠を提供すること。

提案手法

• Kantorovich-Rubinstein 双対性を用いて $\mathcal{W}_1$ の双対表現を導出し、有界な Lipschitz 関数の観点から距離を特徴付ける。
• 投影距離の構造に適合した、$\mathbb{R}^d$ 内の 1-Lipschitz 関数の空間に特化した新しい位相 $\tau$ を導入する。
• $a_k \geq 0$, $\|f_k\|_{\text{Lip}} \leq 1$, $\|\mathbf{v}_k\| = 1$, および $\sum a_k \leq C_d$（$C_d > 0$）を満たす関数の族 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ を構築する。
• この関数族が、位相 $\tau$ に関して 1-Lipschitz 関数の集合において稠密であることを証明し、一般の 1-Lipschitz 関数の近似を可能にする。
• $L^1$ および $L^\infty$ 空間における弱-* 収束と双対性を用いた関数解析的道具を適用し、連続性および収束性の性質を確立する。
• 知られた集中不等式を用いて $\mathcal{W}_1$ と $\overline{\mathcal{W}}_1$ の挙動を対比する：$d=2$ の場合 $\mathbb{E}[\mathcal{W}_1(\ell^d, \hat{\mu}^n)] \approx (\log n / n)^{1/2}$、$d \geq 3$ の場合 $n^{-1/d}$ であり、$\mathcal{W}_1$ が $\overline{\mathcal{W}}_1$ と強い等価性を持つと仮定すると矛盾が生じる。

実験結果

リサーチクエスチョン

• RQ1 $\mathbb{R}^d$ における max-sliced Wasserstein 距離 $\overline{\mathcal{W}}_1$ は、古典的 Wasserstein 距離 $\mathcal{W}_1$ と強い等価性を持つか？
• RQ2 標準的な sliced Wasserstein 距離 $\mathcal{W}_1$ は、$\mathcal{W}_1$ と同様の強い等価性を持つか？
• RQ3 $\mathbb{R}^d$ 上の 1-Lipschitz 関数の空間は、適切な位相に関して $\sum a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ の形の関数によって近似可能か？
• RQ4 位相 $\tau$ は $\overline{\mathcal{W}}_1$ の強い等価性の証明において果たす役割は何か？
• RQ5 $\mathcal{W}_1$ の経験測度における集中不等式は、$\mathcal{W}_1$ と $\overline{\mathcal{W}}_1$ の間の強い等価性が成立しない可能性をどのように矛盾させるか？

主な発見

• $\mathbb{R}^d$ において、max-sliced Wasserstein 距離 $\overline{\mathcal{W}}_1$ は、すべての $d \geq 1$ に対して古典的 Wasserstein 距離 $\mathcal{W}_1$ と強い等価性を持つ。
• $C_d > 0$ が存在し、$a_k \geq 0$, $\|f_k\|_{\text{Lip}} \leq 1$, $\|\mathbf{v}_k\| = 1$, および $\sum a_k \leq C_d$ を満たす関数 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ の集合が、位相 $\tau$ に関して $\mathbb{R}^d$ 上の 1-Lipschitz 関数の空間において稠密である。
• 標準的な sliced Wasserstein 距離 $\mathcal{W}_1$ は、$\mathcal{W}_1$ と強い等価性を持たない。これは、既知の集中不等式を用いた背理法により示される：$d=2$ の場合 $\mathbb{E}[\mathcal{W}_1(\ell^d, \hat{\mu}^n)] \approx (\log n / n)^{1/2}$、$d \geq 3$ の場合 $n^{-1/d}$。
• 証明は $\mathcal{W}_1$ の双対表現と、$L^\infty$ 空間における弱-* 収束を含む関数解析的枠組みに依存する。
• 本結果により、$\overline{\mathcal{W}}_1$ が高次元において $\mathcal{W}_1$ の理論的頑健性を引き継ぐことが確認され、$\mathcal{W}_1$ とは異なり収束速度が遅くなる問題を回避できる。
• 本研究は、高次元分布を扱う機械学習およびデータサイエンスの応用において、max-sliced 距離を標準的 sliced 距離よりも優先して使用する理論的根拠を提供する。