[논문 리뷰] Strong equivalence between metrics of Wasserstein type

Erhan Bayraktar, Gaoyue Guo|arXiv (Cornell University)|2019. 12. 17.

Geometric Analysis and Curvature Flows참고 문헌 10인용 수 7

한 줄 요약

이 논문은 $\mathbb{R}^d$에서 max-sliced Wasserstein 거리 $\overline{\mathcal{W}}_1$와 고전적 Wasserstein 거리 $\mathcal{W}_1$ 사이의 강한 동치성을 입증한다. 이를 위해 $\mathcal{W}_1$의 이중 표현식, 1-Lipschitz 함수 공간에 대한 특화된 위상 $\tau$, 그리고 함수해석학적 기법을 사용한다. 반면, 표준 sliced Wasserstein 거리 $\mathcal{W}_1$ 는 이와 같은 동치성을 가지지 않으며, 이는 고차원 데이터 응용에서 max-sliced 변형이 더 우수함을 시사한다.

ABSTRACT

We appended an errata to the original submission. The purpose of this errata is to point out two errors in [2] and give a weakened version of those statements made.

연구 동기 및 목표

• 모든 $d \geq 1$에 대해 $\mathbb{R}^d$에서 max-sliced Wasserstein 거리 $\overline{\mathcal{W}}_1$와 고전적 $\mathcal{W}_1$ 거리 간의 강한 동치성을 확립한다.
• 표준 sliced Wasserstein 거리 $\mathcal{W}_1$ 가 $\mathcal{W}_1$ 와 강한 동치성을 가지지 않음을 보이며, 이는 $\overline{\mathcal{W}}_2$ 와는 다름을 밝힌다.
• $\mathbb{R}^d$에서 1-Lipschitz 함수 공간에 대해 특화된 위상 $\tau$ 를 포함하는 함수해석학적 프레임워크를 개발한다.
• 모든 $a_k \geq 0$, $\|f_k\|_{\text{Lip}} \leq 1$, $\|\mathbf{v}_k\| = 1$ 를 만족하는 함수 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ 가 위상 $\tau$ 에서 $\text{Lip}_1(\mathbb{R}^d)$ 내에서 밀도를 이룬다는 것을 보인다.
• 고차원 설정에서 max-sliced 거리가 표준 sliced 거리보다 더 선호되는 이유에 대한 이론적 근거를 제공한다.

제안 방법

• Kantorovich-Rubinstein 이중성에 기반한 $\mathcal{W}_1$ 의 이중 표현식을 사용하여, 유계 1-Lipschitz 함수를 통해 거리를 특성화한다.
• $\mathbb{R}^d$에서 1-Lipschitz 함수 공간에 대해, 투영된 거리의 구조에 맞게 조정된 새로운 위상 $\tau$ 를 도입한다.
• $a_k \geq 0$, $\|f_k\|_{\text{Lip}} \leq 1$, $\|\mathbf{v}_k\| = 1$, 그리고 $\sum a_k \leq C_d$ 를 만족하는 함수의 집합을 구성한다. 여기서 $C_d > 0$ 이다.
• 이 집합이 위상 $\tau$ 에서 1-Lipschitz 함수의 집합 내에서 밀도를 이룬다는 것을 증명함으로써, 일반적인 1-Lipschitz 함수를 근사할 수 있음을 보장한다.
• $L^1$ 및 $L^\infty$ 공간에서의 약한-* 수렴과 쌍대성 이론을 포함한 함수해석학적 도구를 적용하여 연속성 및 수렴 성질을 확립한다.
• 기존의 농도 집합에 기반해 $\mathcal{W}_1$ 과 $\overline{\mathcal{W}}_1$ 의 행동을 대조한다: $d=2$ 에서는 $\mathbb{E}[\mathcal{W}_1(\ell^d, \hat{\mu}^n)] \approx (\log n / n)^{1/2}$ 이고, $d \geq 3$ 에서는 $n^{-1/d}$ 이다. 만약 $\mathcal{W}_1$ 이 $\overline{\mathcal{W}}_1$ 와 강한 동치였다면 이는 모순을 일으킨다.

실험 결과

연구 질문

• RQ1 $\mathbb{R}^d$에서 max-sliced Wasserstein 거리 $\overline{\mathcal{W}}_1$ 는 고전적 Wasserstein 거리 $\mathcal{W}_1$ 과 강한 동치인가?
• RQ2 표준 sliced Wasserstein 거리 $\mathcal{W}_1$ 는 $\mathcal{W}_1$ 과 동일한 강한 동치 성질을 가지는가?
• RQ3 적절한 위상 하에서, $\sum a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ 형태의 함수로 $\mathbb{R}^d$에서 1-Lipschitz 함수 공간을 근사할 수 있는가?
• RQ4 위상 $\tau$ 는 $\overline{\mathcal{W}}_1$ 의 강한 동치성 증명을 어떻게 가능하게 하는가?
• RQ5 $\mathcal{W}_1$ 이 경험 측도 하에서의 농도 집합은 어떻게 $\mathcal{W}_1$ 과 $\overline{\mathcal{W}}_1$ 간의 강한 동치 가능성에 모순을 일으키는가?

주요 결과

• $\mathbb{R}^d$에서 max-sliced Wasserstein 거리 $\overline{\mathcal{W}}_1$ 는 모든 $d \geq 1$ 에 대해 고전적 Wasserstein 거리 $\mathcal{W}_1$ 과 강한 동치이다.
• $C_d > 0$ 인 상수 $C_d$ 가 존재하여, $a_k \geq 0$, $\|f_k\|_{\text{Lip}} \leq 1$, $\|\mathbf{v}_k\| = 1$, $\sum a_k \leq C_d$ 를 만족하는 함수의 집합 $\sum_{k=1}^n a_k f_k(\mathbf{v}_k \cdot \mathbf{x})$ 는 위상 $\tau$ 에서 $\mathbb{R}^d$에서 1-Lipschitz 함수 공간 내에서 밀도를 이룬다.
• 표준 sliced Wasserstein 거리 $\mathcal{W}_1$ 는 기존의 농도 집합을 사용한 모순에 기반해 $\mathcal{W}_1$ 과 강한 동치가 아니며, $\mathbb{E}[\mathcal{W}_1(\ell^d, \hat{\mu}^n)] \approx (\log n / n)^{1/2}$ ($d=2$) 및 $n^{-1/d}$ ($d \geq 3$) 이다.
• 증명은 $\mathcal{W}_1$ 의 이중 표현식과 $L^\infty$ 공간에서의 약한-* 수렴을 포함하는 함수해석학적 프레임워크에 의존한다.
• 결과적으로 $\overline{\mathcal{W}}_1$ 는 고차원에서 $\mathcal{W}_1$ 의 이론적 안정성을 그대로 이어받으며, 반면 $\mathcal{W}_1$ 는 수렴 속도가 느려지는 문제를 겪는다.
• 이 연구는 고차원 분포를 다루는 머신러닝 및 데이터 과학 응용에서 max-sliced 거리가 표준 sliced 거리보다 더 선호되어야 할 이론적 근거를 제공한다.