[논문 리뷰] Smooth $p$-Wasserstein Distance: Structure, Empirical Approximation, and Statistical Applications

Sloan Nietert, Ziv Goldfeld외 1명|arXiv (Cornell University)|2021. 01. 11.

Geometric Analysis and Curvature Flows참고 문헌 45인용 수 9

한 줄 요약

이 논문은 가우시안 스무딩을 적용한 $p$-와서르스타인 거리 $\mathsf{W}_p^{(\sigma)}$를 도입하고 분석하며, 고전적 와서르스타인 거리에서 유도되는 거리성 및 위상적 성질을 유지하면서도 모든 차원 $d$에서 표본 수 $n$에 대해 $n^{-1/2}$의 파arametric 수렴 속도를 달성함을 보여준다. 이는 $d \geq 3$일 때 비스무딩된 $\mathsf{W}_p$의 $n^{-1/d}$ 수렴 속도와 대비된다. 주요 기여는 $p$번째 순서의 스무딩된 소볼레프 거리 $\mathsf{d}_p^{(\sigma)}$와의 새로운 연결을 통해 $\mathsf{W}_p^{(\sigma)}$를 이용한 빠르고 확장 가능한 통계적 추론에 대한 이론적 기반을 마련한 데 있다.

ABSTRACT

Discrepancy measures between probability distributions, often termed statistical distances, are ubiquitous in probability theory, statistics and machine learning. To combat the curse of dimensionality when estimating these distances from data, recent work has proposed smoothing out local irregularities in the measured distributions via convolution with a Gaussian kernel. Motivated by the scalability of this framework to high dimensions, we investigate the structural and statistical behavior of the Gaussian-smoothed $p$-Wasserstein distance $\mathsf{W}_p^{(σ)}$, for arbitrary $p\geq 1$. After establishing basic metric and topological properties of $\mathsf{W}_p^{(σ)}$, we explore the asymptotic statistical behavior of $\mathsf{W}_p^{(σ)}(\hatμ_n,μ)$, where $\hatμ_n$ is the empirical distribution of $n$ independent observations from $μ$. We prove that $\mathsf{W}_p^{(σ)}$ enjoys a parametric empirical convergence rate of $n^{-1/2}$, which contrasts the $n^{-1/d}$ rate for unsmoothed $\mathsf{W}_p$ when $d \geq 3$. Our proof relies on controlling $\mathsf{W}_p^{(σ)}$ by a $p$th-order smooth Sobolev distance $\mathsf{d}_p^{(σ)}$ and deriving the limit distribution of $\sqrt{n}\,\mathsf{d}_p^{(σ)}(\hatμ_n,μ)$, for all dimensions $d$. As applications, we provide asymptotic guarantees for two-sample testing and minimum distance estimation using $\mathsf{W}_p^{(σ)}$, with experiments for $p=2$ using a maximum mean discrepancy formulation of $\mathsf{d}_2^{(σ)}$.

연구 동기 및 목표

• 고차원에서의 표본 와서르스타인 거리 추정에서 발생하는 차원의 저주 문제를 해결함: 이는 고차원에서 $n^{-1/d}$ 수렴 속도로 인해 느린 수렴을 초래함.
• 고전적 $\mathsf{W}_p$의 이론적 기반에 바탕을 두고 확장 가능한 대안을 개발하기 위해, 통계적 수렴을 향상시키기 위해 가우시안 스무딩을 도입함.
• 스무딩된 $\mathsf{W}_p^{(\sigma)}$의 거리성 및 위상적 구조를 확립하고, $\sigma$의 미세한 변화에 대한 안정성도 분석함.
• $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 渐近 분포를 일반적인 $p \geq 1$ 및 모든 차원 $d$에 대해 유도함.
• $\mathsf{W}_p^{(\sigma)}$를 이용한 이중표본 검정 및 최소거리 추정에 대한 통계적 보장을 제공하고, 실험을 통해 검증함.

제안 방법

• 논문은 $\mathsf{W}_p^{(\sigma)}(\mu, \nu) = \mathsf{W}_p(\mu * \mathcal{N}_\sigma, \nu * \mathcal{N}_\sigma)$로 정의하여 스무딩된 $p$-와서르스타인 거리를 도입하며, 여기서 $\mathcal{N}_\sigma$는 등방성 가우시안 커널임.
• 스무딩된 $\mathsf{W}_p^{(\sigma)}$가 거리성과 고전적 $\mathsf{W}_p$와 동일한 위상을 유도하며, $\sigma$의 미세한 변화에 대해 안정적임을 증명함.
• 핵심 방법론적 혁신은 $\mathsf{W}_p^{(\sigma)}$를 제어하기 위해 $p$번째 순서의 스무딩된 소볼레프 거리 $\mathsf{d}_p^{(\sigma)}$를 사용하는 것으로, 이는 수렴 분석을 가능하게 함.
• $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$가 강한 가우시안 과정로 수렴함을 증명함으로써, $\mathsf{W}_p^{(\sigma)}$에 대해 $n^{-1/2}$의 파arametric 수렴 속도를 도출함.
• 이론적 결과는 기존의 $L^p$-폐포를 통한 기울기의 폐포를 이용한 동차 소볼레프 공간 $\dot{H}^{1,p}(\gamma)$의 새로운 구성적 특성화를 통해 지지되며, 기능 공간의 일致성을 보장함.
• 실험적 검증은 $p=2$에 대해 $\mathsf{d}_2^{(\sigma)}$의 최대 평균 차이(MMD) 공식화를 사용하며, 합성 및 실재 데이터를 대상으로 수렴성과 통계적 유용성을 입증함.

실험 결과

연구 질문

• RQ1 가우시안 스무딩된 $p$-와서르스타인 거리 $\mathsf{W}_p^{(\sigma)}$는 구조적으로 어떻게 행동하는가? 고전적 $\mathsf{W}_p$의 거리성 및 위상적 성질을 유지하는가?
• RQ2 $\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 표본 수 $n$과 차원 $d$에 따른 수렴 속도는 어떻게 되는가?
• RQ3 $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 극한 분포는 차원에 따라 어떻게 행동하는가? 일반적인 $p \geq 1$에 대해 특성화할 수 있는가?
• RQ4 $\mathsf{W}_p^{(\sigma)}$는 이중표본 검정 및 최소거리 추정에 대해 점근적 보장을 갖는 신뢰할 수 있는 방법으로 사용될 수 있는가?
• RQ5 $\mathsf{W}_p^{(\sigma)}$와 $p$번째 순서의 스무딩된 소볼레프 거리 $\mathsf{d}_p^{(\sigma)}$ 사이의 관계는 무엇이며, 이는 수렴 제어에 어떻게 활용될 수 있는가?

주요 결과

• 스무딩된 $p$-와서르스타인 거리 $\mathsf{W}_p^{(\sigma)}$는 거리성과 고전적 $\mathsf{W}_p$와 동일한 위상을 유도하며, 이는 기하학적 일致성을 보장함.
• 약한 모멘트 조건 하에서 $\mathsf{W}_p^{(\sigma)}$는 모든 차원 $d$에서 $n^{-1/2}$의 파arametric 수렴 속도를 달성함. 이는 $d \geq 3$일 때 비스무딩된 $\mathsf{W}_p$의 $n^{-1/d}$ 수렴 속도와 대비됨.
• $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 극한 분포는 강한 가우시안 과정의 최대값으로 수렴함을 보이며, 이는 모든 $d$에 대해 점근적 추론을 가능하게 함.
• $\mathsf{d}_2^{(\sigma)}$ 거리를 사용하여 $\mathbb{E}[\mathsf{W}_2^{(\sigma)}(\hat{\mu}_n, \mu)]$에 대한 상한을 유도함으로써, $\mathbb{E}[\mathsf{W}_2^{(\sigma)}(\hat{\mu}_n, \mu)] \leq 2e^{\mathbb{E}[|X|^2]/(4\sigma^2)} \left(\mathbb{E}[\kappa^{(\sigma)}(X,X)] - \mathbb{E}[\kappa^{(\sigma)}(X,X')]\right)^{1/2} n^{-1/2}$를 도출함.
• 실험 결과는 $p=2$일 때 $n^{-1/2}$ 수렴 속도를 확인하고, $\mathsf{W}_p^{(\sigma)}$가 이중표본 검정 및 최소거리 추정에 있어 유용함을 입증함.
• 이론적 결과는 동차 소볼레프 공간 $\dot{H}^{1,p}(\gamma)$를 $\mathbb{R}^d$ 위의 함수들로 구성된 바나흐 공간으로서의 구성적 특성화를 통해 지지되며, 기능 해석학적 엄밀함을 보장함.