[논문 리뷰] Limit Distribution Theory for the Smooth 1-Wasserstein Distance with Applications

Ritwik Sadhu, Ziv Goldfeld외 1명|arXiv (Cornell University)|2021. 07. 28.

Geometric Analysis and Curvature Flows참고 문헌 80인용 수 8

한 줄 요약

이 논문은 부드러운 1-와서스타인 거리(SWD)에 대한 고차원적 극한 분포 이론을 수립하여, 차원에 관계없이 $ n^{-1/2} $의 파arametric 수렴 속도를 증명하고, 최소 기대 거리 추정을 통한 이중 샘플 검정과 암묵적 생성 모델링에서의 통계적 타당성을 입증한다. SWD는 표준 와서스타인 거리의 거리 구조를 계승하면서 가우시안 스무딩을 통해 차원의 저주를 피한다.

ABSTRACT

The smooth 1-Wasserstein distance (SWD) $W_1^σ$ was recently proposed as a means to mitigate the curse of dimensionality in empirical approximation while preserving the Wasserstein structure. Indeed, SWD exhibits parametric convergence rates and inherits the metric and topological structure of the classic Wasserstein distance. Motivated by the above, this work conducts a thorough statistical study of the SWD, including a high-dimensional limit distribution result for empirical $W_1^σ$, bootstrap consistency, concentration inequalities, and Berry-Esseen type bounds. The derived nondegenerate limit stands in sharp contrast with the classic empirical $W_1$, for which a similar result is known only in the one-dimensional case. We also explore asymptotics and characterize the limit distribution when the smoothing parameter $σ$ is scaled with $n$, converging to $0$ at a sufficiently slow rate. The dimensionality of the sampled distribution enters empirical SWD convergence bounds only through the prefactor (i.e., the constant). We provide a sharp characterization of this prefactor's dependence on the smoothing parameter and the intrinsic dimension. This result is then used to derive new empirical convergence rates for classic $W_1$ in terms of the intrinsic dimension. As applications of the limit distribution theory, we study two-sample testing and minimum distance estimation (MDE) under $W_1^σ$. We establish asymptotic validity of SWD testing, while for MDE, we prove measurability, almost sure convergence, and limit distributions for optimal estimators and their corresponding $W_1^σ$ error. Our results suggest that the SWD is well suited for high-dimensional statistical learning and inference.

연구 동기 및 목표

• 고차원에서의 경험 와서스타인 거리 추정에서 발생하는 차원의 저주를 다스리며, 고차원에서의 수렴 속도가 느린 $ n^{-1/d} $ 문제를 해결한다.
• 귀무가설과 대립가설 하에서 부드러운 1-와서스타인 거리($ \mathsf{W}_1^\sigma $)에 대한 엄밀한 고차원 극한 분포 이론을 수립한다.
• $ \mathsf{W}_1^\sigma $에 대한 부트스트랩 일致성, 농도 부등식, 베르누이-에세른 유형의 경계를 확립하여 타당한 통계적 추론을 지원한다.
• 수렴 속도가 스무딩 매개변수 $ \sigma $에 어떻게 의존하는지 분석하며, $ n \to \infty $일 때 $ \sigma \to 0 $인 경우의 영역도 포함한다.
• 이론적 프레임워크를 이중 샘플 동질성 검정과 암묵적 생성 모델링에서의 최소 기대 거리 추정(MEDE)에 적용한다.

제안 방법

• 칸토로비치-루빈슈타인 이중성과 기능적 중심극한정리 기법을 사용하여 임의의 차원에서 $ \sqrt{n} \mathsf{W}_1^\sigma(P_n, P) $의 점근적 분포를 유도한다.
• 기대 경험 수렴 속도가 $ \sigma $에 대한 정밀한 의존성을 특성화하여, $ \mathbb{E}[\mathsf{W}_1^\sigma(P_n, P)] = O(\sigma \sqrt{d} + n^{-1/2}) $임을 보이며, $ \sigma $가 $ n $에 대해 천천히 감소함을 보인다.
• $ \mathsf{W}_1^\sigma $에 대한 부트스트랩 일치성을 확립하여, 재표본 분포가 통계량의 진정한 표본 분포로 수렴함을 증명한다.
• $ \mathsf{W}_1^\sigma $에 대한 농도 부등식과 베르누이-에세른 경계를 증명하여 정규분포로의 수렴 속도를 정량화한다.
• 이론을 이중 샘플 검정에 적용하여, $ \mathsf{W}_1^\sigma $ 기반의 동질성 검정의 점근적 타당성을 입증한다.
• 암묵적 생성 모델링에서 최소 기대 거리 추정(MEDE)을 분석하여, 추정량과 그 $ \mathsf{W}_1^\sigma $ 오차의 가측성, 거의 확실 수렴성, 극한 분포를 증명한다.

실험 결과

연구 질문

• RQ1 경험적 부드러운 1-와서스타인 거리 $ \mathsf{W}_1^\sigma(P_n, P) $의 고차원 극한 분포는 무엇이며, 스무딩 매개변수 $ \sigma $에 어떻게 의존하는가?
• RQ2 경험적 $ \mathsf{W}_1^\sigma $가 그 집단 대응체로 수렴하는 속도는 얼마나 빠르며, 이 수렴 속도가 $ \sigma $와 차원 $ d $에 대해 정밀하게 어떻게 의존하는가?
• RQ3 부트스트랩은 $ \mathsf{W}_1^\sigma $에 대해 타당한가? 그리고 신뢰구간이나 가설 검정을 구성하는 데 사용될 수 있는가?
• RQ4 고차원에서 $ \mathsf{W}_1^\sigma $를 사용하여 점근적으로 타당한 이중 샘플 동질성 검정을 수행할 수 있는가?
• RQ5 데이터와 모델이 모두 표본 추출된 경우, $ \mathsf{W}_1^\sigma $를 사용한 최소 기대 거리 추정(MEDE)의 통계적 성질은 무엇인가?

주요 결과

• $ \sqrt{n} \mathsf{W}_1^\sigma(P_n, P) $의 극한 분포가 임의의 차원에서 유도되었으며, 이는 부드러운 1-와서스타인 거리에 대한 중심극한정리를 확립한다.
• $ \mathsf{W}_1^\sigma $의 기대 경험 수렴 속도는 $ O(\sigma \sqrt{d} + n^{-1/2}) $이며, $ \sigma $가 $ n $에 대해 천천히 감소할 경우 $ n^{-1/2} $ 항이 지배적으로 작용하여 파arametric 수렴 속도를 보장한다.
• $ \mathsf{W}_1^\sigma $에 대한 부트스트랩 재표본이 일치하므로, 신뢰구간이나 가설 검정과 같은 타당한 추론이 가능하다.
• 이중 샘플 동질성 검정이 $ \mathsf{W}_1^\sigma $ 기반으로 고차원에서도 점근적으로 타당함을 증명하였다.
• 암묵적 생성 모델링에서 최소 기대 거리 추정(MEDE)에 대해, 최적 추정량과 그 $ \mathsf{W}_1^\sigma $ 오차의 가측성, 거의 확실 수렴성, 극한 분포를 모두 확립하였다.
• 이론적 프레임워크는 $ \mathsf{W}_1^\sigma $가 고차원 통계적 학습과 추론에 적합하며, 차원의 저주를 극복하면서도 거리 구조와 위상적 성질을 유지함을 확인한다.