[논문 리뷰] From Smooth Wasserstein Distance to Dual Sobolev Norm: Empirical Approximation and Statistical Applications

Sloan Nietert, Ziv Goldfeld외 1명|arXiv (Cornell University)|2021. 01. 11.

Topological and Geometric Data Analysis참고 문헌 70인용 수 4

한 줄 요약

이 논문은 통계적 추정에서 차원의 저주를 극복하기 위해 가우시안 스무딩을 적용한 $p$-워샤르슈타인 거리 $\mathsf{W}_p^{(\sigma)}$를 제안한다. 이 거리가 이중 소볼레프 노름 $\mathsf{d}_p^{(\sigma)}$에 의해 제어됨을 보여, 고차원에서 파arametric한 $n^{-1/2}$ 수렴 속도를 확립하며, 스무딩되지 않은 워샤르슈타인 거리의 $n^{-1/d}$ 수렴 속도와 대비된다. 또한 이중 샘플 검정과 최소 거리 추정에 대한 점근적 분포를 유도한다.

ABSTRACT

Statistical distances, i.e., discrepancy measures between probability distributions, are ubiquitous in probability theory, statistics and machine learning. To combat the curse of dimensionality when estimating these distances from data, recent work has proposed smoothing out local irregularities in the measured distributions via convolution with a Gaussian kernel. Motivated by the scalability of the smooth framework to high dimensions, we conduct an in-depth study of the structural and statistical behavior of the Gaussian-smoothed $p$-Wasserstein distance $\mathsf{W}_p^{(\sigma)}$, for arbitrary $p\geq 1$. We start by showing that $\mathsf{W}_p^{(\sigma)}$ admits a metric structure that is topologically equivalent to classic $\mathsf{W}_p$ and is stable with respect to perturbations in $\sigma$. Moving to statistical questions, we explore the asymptotic properties of $\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n,\mu)$, where $\hat{\mu}_n$ is the empirical distribution of $n$ i.i.d. samples from $\mu$. To that end, we prove that $\mathsf{W}_p^{(\sigma)}$ is controlled by a $p$th order smooth dual Sobolev norm $\mathsf{d}_p^{(\sigma)}$. Since $\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n,\mu)$ coincides with the supremum of an empirical process indexed by Gaussian-smoothed Sobolev functions, it lends itself well to analysis via empirical process theory. We derive the limit distribution of $\sqrt{n}\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n,\mu)$ in all dimensions $d$, when $\mu$ is sub-Gaussian. Through the aforementioned bound, this implies a parametric empirical convergence rate of $n^{-1/2}$ for $\mathsf{W}_p^{(\sigma)}$, contrasting the $n^{-1/d}$ rate for unsmoothed $\mathsf{W}_p$ when $d \geq 3$. As applications, we provide asymptotic guarantees for two-sample testing and minimum distance estimation. When $p=2$, we further show that $\mathsf{d}_2^{(\sigma)}$ can be expressed as a maximum mean discrepancy.

연구 동기 및 목표

• 확률 분포 간 통계적 거리 추정에서 차원의 저주를 해결하기 위해.
• 고차원 환경에서 $p$-워샤르슈타인 거리에 대해 확장 가능하고 안정적인 프레임워크를 개발하기 위해.
• empirical process 방법을 사용하여 스무딩된 워샤르슈타인 거리의 경험적 추정에 대한 점근적 이론을 수립하기 위해.
• 스무딩된 거리 기반으로 이중 샘플 검정과 최소 거리 추정에 대한 통계적 보장을 제공하기 위해.
• 스무딩된 워샤르슈타인 거리와 이중 소볼레프 노름 간의 관계를 규명하기 위해.

제안 방법

• 분포에 가우시안 커널을 병합하여 局부 불규칙성을 감소시킴으로써 가우시안 스무딩을 적용한 $p$-워샤르슈타인 거리 $\mathsf{W}_p^{(\sigma)}$를 도입한다.
• 스무딩된 거리 $\mathsf{W}_p^{(\sigma)}$가 표준 $\mathsf{W}_p$와 위상적으로 동치이며, $\sigma$에 대한 편미분에 대해 안정적임을 증명한다.
• 스무딩된 워샤르슈타인 거리 $\mathsf{W}_p^{(\sigma)}$가 $p$차 수준의 이중 소볼레프 노름 $\mathsf{d}_p^{(\sigma)}$에 의해 제어됨을 수립하며, 이 노름은 가우시안 스무딩 소볼레프 함수 위의 경험 과정의 Supremum을 측정한다.
• empirical process 이론을 활용하여, $\mu$가 sub-Gaussian일 경우 $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 점근적 분포를 도출한다.
• 특히 $p=2$일 경우, $\mathsf{d}_2^{(\sigma)}$가 가우시안 스무딩 하에서 최대 평균 차이(MMD)와 일치함을 보인다.
• 이중 소볼레프 노름을 활용하여 파arametric 수렴 속도와 통계적 추론 보장을 도출한다.

실험 결과

연구 질문

• RQ1 고차원에서 스무딩되지 않은 $\mathsf{W}_p$와 비교해 가우시안 스무딩된 $p$-워샤르슈타인 거리 $\mathsf{W}_p^{(\sigma)}$가 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 이중 소볼레프 노름 $\mathsf{d}_p^{(\sigma)}$는 스무딩된 워샤르슈타인 거리 $\mathsf{W}_p^{(\sigma)}$와 어떻게 관련이 있는가?
• RQ3 sub-Gaussian인 $\mu$에 대해 $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 점근적 분포는 무엇인가?
• RQ4 스무딩된 워샤르슈타인 거리가 점근적 보장을 갖는 유효한 이중 샘플 검정과 최소 거리 추정을 지원할 수 있는가?
• RQ5 $\mathsf{d}_2^{(\sigma)}$와 최대 평균 차이(MMD) 사이에 연결 고리가 존재하는가?

주요 결과

• 가우시안 스무딩된 $p$-워샤르슈타인 거리 $\mathsf{W}_p^{(\sigma)}$는 표준 $\mathsf{W}_p$와 위상적으로 동치이며, $\sigma$에 대한 작은 변화에 대해 안정적이다.
• 거리 $\mathsf{W}_p^{(\sigma)}$는 경험 과정 분석이 가능한 이중 소볼레프 노름 $\mathsf{d}_p^{(\sigma)}$에 의해 제어된다.
• sub-Gaussian인 $\mu$에 대해, $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$의 점근적 분포가 모든 차원 $d$에서 유도되었다.
• 경험적 수렴 속도로써 $\mathsf{W}_p^{(\sigma)}$는 $n^{-1/2}$이며, 이는 파arametric이자 차원과 무관한 속도이며, $d \geq 3$일 경우 스무딩되지 않은 $\mathsf{W}_p$의 $n^{-1/d}$ 속도와 대비된다.
• 특히 $p=2$일 경우, 이중 소볼레프 노름 $\mathsf{d}_2^{(\sigma)}$는 가우시안 스무딩 하에서 최대 평균 차이(MMD)와 동치이다.
• 스무딩된 거리 프레임워크를 사용하여 이중 샘플 검정과 최소 거리 추정에 대해 점근적 보장을 수립하였다.