[논문 리뷰] Asymptotic Guarantees for Generative Modeling Based on the Smooth Wasserstein Distance

Ziv Goldfeld, Kristjan Greenewald외 1명|arXiv (Cornell University)|2020. 02. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 83인용 수 7

한 줄 요약

이 논문은 최소 매끄러운 워샤르스타인 추정기(MSWE)를 사용한 생성 모델링을 위한 渐近적 보장을 수립한다. 이는 매끄러운 1-워샤르스타인 거리(SWD)를 활용하여 차원의 저주를 극복한다. 추정기의 가측성, 강한 일致성, 그리고 임의의 차원에서 매개변수 추정치와 최소 거리의 수렴 속도가 $O(n^{-1/2})$임을 증명함으로써, 차원에 영향을 받지 않는 일반화 경계를 가능하게 한다.

ABSTRACT

Minimum distance estimation (MDE) gained recent attention as a formulation of (implicit) generative modeling. It considers minimizing, over model parameters, a statistical distance between the empirical data distribution and the model. This formulation lends itself well to theoretical analysis, but typical results are hindered by the curse of dimensionality. To overcome this and devise a scalable finite-sample statistical MDE theory, we adopt the framework of smooth 1-Wasserstein distance (SWD) $\mathsf{W}_1^{(σ)}$. The SWD was recently shown to preserve the metric and topological structure of classic Wasserstein distances, while enjoying dimension-free empirical convergence rates. In this work, we conduct a thorough statistical study of the minimum smooth Wasserstein estimators (MSWEs), first proving the estimator's measurability and asymptotic consistency. We then characterize the limit distribution of the optimal model parameters and their associated minimal SWD. These results imply an $O(n^{-1/2})$ generalization bound for generative modeling based on MSWE, which holds in arbitrary dimension. Our main technical tool is a novel high-dimensional limit distribution result for empirical $\mathsf{W}_1^{(σ)}$. The characterization of a nondegenerate limit stands in sharp contrast with the classic empirical 1-Wasserstein distance, for which a similar result is known only in the one-dimensional case. The validity of our theory is supported by empirical results, posing the SWD as a potent tool for learning and inference in high dimensions.

연구 동기 및 목표

• 표준 통계적 거리(워샤르스타인 거리 및 f-발산)가 앓는 차원의 저주 문제를 해결하기 위해 최소 거리 추정(MDE)을 위한 생성 모델링에서 차원의 저주를 다루는 것.
• 고차원 환경에서도 스케일이 잘 되고 효과적인 유한 표본 통계 이론을 MDE를 위해 개발하는 것.
• 최소 매끄러운 워샤르스타인 추정기(MSWE)에 대한 이론적 보장을 수립하는 것—가측성, 일치성, 극한 분포.
• 임의의 차원에서 유효한, 매끄러운 워샤르스타인 거리 기반 생성 모델링을 위한 일반화 경계를 $O(n^{-1/2})$ 순서로 도출하는 것.

제안 방법

• 논문은 데이터 및 모델 분포를 등방향 가우시안(분산 $\sigma^2$)으로 컨볼루션한 후의 1-워샤르스타인 거리인 매끄러운 1-워샤르스타인 거리($\mathsf{W}_{1}^{(\sigma)}$)를 사용한다.
• MSWE $\widehat{\theta}_n = \mathop{\mathrm{argmin}}_{\theta \in \Theta} \mathsf{W}_{1}^{(\sigma)}(P_n, Q_\theta)$의 가측성과 강한 일치성을 증명한다.
• 고차원에서의 극한 분포 결과를 새롭게 유도하여, $\sqrt{n}\,\mathsf{W}_{1}^{(\sigma)}(P_n, P)$의 점근 정규성을 가능하게 한다.
• SWD를 1-립시츠 함수로 인덱스가 매겨진 경험 과정의 Supremum로 표현하기 위해 캄토로비치-루빈스타인 이중성을 활용한다.
• 이론적 결과는 합성 데이터에서의 경험적 검증을 통해 지지되며, SWD의 수렴과 매개변수 추정치의 극한 분포를 확인한다.

실험 결과

연구 질문

• RQ1 매끄러운 1-워샤르스타인 거리는 차원의 저주를 피하는 유한 표본 통계 이론을 MDE에 제공할 수 있는가?
• RQ2 고차원에서 최소 매끄러운 워샤르스타인 추정기의 점근적 성질—일치성 및 극한 분포—는 무엇인가?
• RQ3 매끄러운 워샤르스타인 거리는 임의의 차원에서 $O(n^{-1/2})$ 순서의 일반화 경계를 가능하게 하는가?
• RQ4 고차원에서 $\sqrt{n}\,\mathsf{W}_{1}^{(\sigma)}(P_n, P)$의 극한 분포는 고전적 경험 1-워샤르스타인 거리와 어떻게 다른가?

주요 결과

• 최소 매끄러운 워샤르스타인 추정기 $\widehat{\theta}_n$는 가측적이며 거의 확실히 참 매개변수 $\theta^\star$로 수렴한다.
• 매개변수 추정치의 극한 분포는 고차원에서도 비퇴화되어 있으며, 고전적 워샤르스타인 거리와는 달리, 이는 고차원에서 성립한다.
• 최소 매끄러운 워샤르스타인 거리 $\sqrt{n}\,\mathsf{W}_{1}^{(\sigma)}(P_n, Q_{\widehat{\theta}_n})$는 $O(n^{-1/2})$ 속도로 분포 수렴한다.
• 논문은 임의의 차원에서 유효한, MSWE 기반 생성 모델링을 위한 $O(n^{-1/2})$ 순서의 일반화 경계를 수립한다.
• 경험적 결과는 이론적 수렴 속도를 확인하고, SWD 프레임워크 하에서 매개변수 추정치의 극한 정규성을 검증한다.