[논문 리뷰] Limit distribution theory for smooth $p$-Wasserstein distances

Ziv Goldfeld, Kengo Kato외 2명|arXiv (Cornell University)|2022. 03. 01.

Geometric Analysis and Curvature Flows인용 수 4

한 줄 요약

이 논문은 기능적 델타 방법과 이중 소볼레프 공간 통합을 사용하여 경험적 매끄러운 $p$-와서르슈타인 거리의 종합적인 극한 분포 이론을 수립한다. 이는 매끄러운 경험 과정의 약한 수렴과 비모수 부트스트랩의 일致성을 증명하며, 제곱 비용 하에서 생성 모델링에서 최소 거리 추정량의 점근 정규성을 확립한다.

ABSTRACT

The Wasserstein distance is a metric on a space of probability measures that has seen a surge of applications in statistics, machine learning, and applied mathematics. However, statistical aspects of Wasserstein distances are bottlenecked by the curse of dimensionality, whereby the number of data points needed to accurately estimate them grows exponentially with dimension. Gaussian smoothing was recently introduced as a means to alleviate the curse of dimensionality, giving rise to a parametric convergence rate in any dimension, while preserving the Wasserstein metric and topological structure. To facilitate valid statistical inference, in this work, we develop a comprehensive limit distribution theory for the empirical smooth Wasserstein distance. The limit distribution results leverage the functional delta method after embedding the domain of the Wasserstein distance into a certain dual Sobolev space, characterizing its Hadamard directional derivative for the dual Sobolev norm, and establishing weak convergence of the smooth empirical process in the dual space. To estimate the distributional limits, we also establish consistency of the nonparametric bootstrap. Finally, we use the limit distribution theory to study applications to generative modeling via minimum distance estimation with the smooth Wasserstein distance, showing asymptotic normality of optimal solutions for the quadratic cost.

연구 동기 및 목표

• Gaussian 스무딩을 활용하여 $p$-와서르슈타인 거리의 통계적 추론에서 차원의 저주를 해결함으로써, 파rametric 수렴 속도를 달성하고자 한다.
• 이전 결과가 $p=1$로 국한되어 있던 상황에서, $p > 1$일 때 경험적 매끄러운 $p$-와서르슈타인 거리에 대한 엄밀한 극한 분포 이론을 수립하고자 한다.
• 이중 소볼레프 공간에서 매끄러운 경험 과정의 약한 수렴을 확립하고, 매끄러운 와서르슈타인 거리의 하다르드 방향 도함수를 특성화하고자 한다.
• 비모수 부트스트랩의 일치성을 증명하여 통계적 추론의 타당성을 검증하고자 한다.
• 극한 이론을 최소 거리 추정에 적용하여, 제곱 비용 하에서 생성 모델링에서 최적 매개변수의 점근 정규성을 보여주고자 한다.

제안 방법

• 매끄러운 $p$-와서르슈타인 거리의 정의역을 이중 소볼레프 공간 $\dot{H}^{-1,p}(\mu * \gamma_\sigma)$에 통합하여 기능 해석 도구를 적용할 수 있도록 한다.
• 이중 소볼레프 노름에서 매끄러운 와서르슈타인 거리의 하다르드 방향 도함수를 특성화하여 기능적 델타 방법의 적용을 가능하게 한다.
• 약한 모멘트 조건 하에서 이중 소볼레프 공간에서 매끄러운 경험 과정 $\tilde{\mathbb{G}}_n^{(\sigma)}$ 의 약한 수렴을 확립한다.
• 기능적 델타 방법을 적용하여 $\sqrt{n} \, \mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 의 점근 분포를 안정된 가우시안 과정의 초과값으로 유도한다.
• 비모수 부트스트랩이 매끄러운 와서르슈타인 거리의 분포 극한을 추정하는 데 일치함을 증명한다.
• 극한 이론을 사용하여 생성 모델링에서의 최소 거리 추정을 분석하고, 제곱 비용 하에서 최적 매개변수의 점근 정규성을 보여준다.

실험 결과

연구 질문

• RQ1 이전에 적분 확률 거리 구조가 없는 상황에서, $p > 1$일 때 경험적 매끄러운 $p$-와서르슈타인 거리에 대한 극한 분포 이론을 개발할 수 있는가?
• RQ2 매끄러운 $p$-와서르슈타인 거리가 원래 $p$-와서르슈타인 거리의 거리 및 위상적 성질을 유지하면서도, 파arametric 수렴 속도를 달성할 수 있는가?
• RQ3 이중 소볼레프 공간 통합을 통해 기능적 델타 방법을 매끄러운 와서르슈타인 거리에 적용하여 경험 과정의 약한 수렴을 도출할 수 있는가?
• RQ4 비모수 부트스트랩은 매끄러운 와서르슈타인 거리의 점근 분포를 추정하는 데 일치하는가?
• RQ5 극한 분포 이론은 매끄러운 와서르슈타인 거리를 사용한 생성 모델링에서 최소 거리 추정량의 점근 정규성을 가능하게 하는가?

주요 결과

• 약한 모멘트 조건 하에서 모든 차원 $d$ 에서 스케일된 경험적 매끄러운 $p$-와서르슈타인 거리 $\sqrt{n} \, \mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ 는 안정된 가우시안 과정의 초과값으로 분포 수렴한다.
• 극한 분포는 이중 소볼레프 공간 $\dot{H}^{-1,p}(\mu * \gamma_\sigma)$ 에서 매끄러운 경험 과정 $\tilde{\mathbb{G}}_n^{(\sigma)}$ 의 약한 수렴을 통해 특성화된다.
• 매끄러운 와서르슈타인 거리의 하다르드 방향 도함수는 이중 소볼레프 노름에서 완전히 특성화되어 있으며, 이는 기능적 델타 방법의 적용을 가능하게 한다.
• 비모수 부트스트랩은 매끄러운 $p$-와서르슈타인 거리의 점근 분포 추정에 대해 일치하므로, 타당한 추론을 지원한다.
• 제곱 비용 하에서 생성 모델링의 최소 거리 추정을 통해 최적 매개변수 추정량은 점근적으로 정규분포를 따르며, 수렴 속도는 $n^{-1/2}$ 이다.
• 이 이론은 Gaussian 스무딩이 원래 $p$-와서르슈타인 거리의 거리 및 위상적 구조를 유지하면서도 차원의 저주를 제거함을 확인한다.