[논문 리뷰] Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance

Kimia Nadjahi, Alain Durmus외 2명|arXiv (Cornell University)|2019. 06. 11.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 생성 모델링에서 Sliced-Wasserstein(SW) 거리 기반 최소 기대 거리 추정기의 최초의 渐近 이론적 보장을 수립한다. SW 최소화가 √n 수렴 속도를 가지며 渐近적으로 일致하는 추정기를 도출하고, 중심극한정리를 유도하여, 그들의 경험적 성공에도 불구하고 SW를 딥 생성 모델에서 사용하는 것이 타당함을 검증한다.

ABSTRACT

Minimum expected distance estimation (MEDE) algorithms have been widely used for probabilistic models with intractable likelihood functions and they have become increasingly popular due to their use in implicit generative modeling (e.g. Wasserstein generative adversarial networks, Wasserstein autoencoders). Emerging from computational optimal transport, the Sliced-Wasserstein (SW) distance has become a popular choice in MEDE thanks to its simplicity and computational benefits. While several studies have reported empirical success on generative modeling with SW, the theoretical properties of such estimators have not yet been established. In this study, we investigate the asymptotic properties of estimators that are obtained by minimizing SW. We first show that convergence in SW implies weak convergence of probability measures in general Wasserstein spaces. Then we show that estimators obtained by minimizing SW (and also an approximate version of SW) are asymptotically consistent. We finally prove a central limit theorem, which characterizes the asymptotic distribution of the estimators and establish a convergence rate of $\\sqrt{n}$, where $n$ denotes the number of observed data points. We illustrate the validity of our theory on both synthetic data and neural networks.

연구 동기 및 목표

• 암시적 생성 모델링에서 Sliced-Wasserstein(SW) 거리를 사용한 최소 기대 거리 추정기의 엄밀한 이론적 기초를 확립하기 위해.
• 표본 크기가 증가함에 따라 SW 최소화가 일치하는 매개변수 추정기를 도출하는지 조사하기 위해.
• SW 기반 추정기의 渐近 분포를 특성화하고 수렴 속도를 규명하기 위해.
• 합성 데이터와 신경망을 이용한 이론적 결과의 경험적 검증을 위해.

제안 방법

• Wasserstein 공간에서 확률 측도의 약한 수렴을 암시하는 SW 거리에서의 수렴에 대한 이론적 분석.
• 정확한 버전과 근사 버전의 Sliced-Wasserstein 거리에 대해 渐近 일치성의 증명.
• SW 기반 추정기의 중심극한정리 유도, √n 수렴 속도 확립.
• 최소 기대 거리 추정에서 계산이 불가능한 기대값을 대체하기 위해 몬테카를로 근사 사용.
• 임의의 단위 구면에 대한 투영을 통해 1차원 Wasserstein 거리의 평균으로 SW 거리 적용.
• 합성 정규분포 및 안정분포, 그리고 GAN을 사용한 딥 생성 모델을 이용한 경험적 검증.

실험 결과

연구 질문

• RQ1 Sliced-Wasserstein 거리 최소화가 생성 모델에 대해 渐近적으로 일치하는 추정기를 도출하는가?
• RQ2 Sliced-Wasserstein 최소화를 통해 도출된 추정기의 渐近 분포는 무엇인가?
• RQ3 표본 크기 n에 대한 SW 기반 추정기의 수렴 속도는 무엇인가?
• RQ4 Sliced-Wasserstein 거리의 근사 버전이 渐近 성질에 어떤 영향을 미치는가?
• RQ5 실제 딥 생성 모델링 환경에서 SW 기반 추정의 이론적 보장은 검증 가능한가?

주요 결과

• Sliced-Wasserstein 거리에서의 수렴은 일반적인 Wasserstein 공간에서의 확률 측도의 약한 수렴을 암시한다.
• 규칙성 조건 하에서 Sliced-Wasserstein 거리 최소화로 도출된 추정기는 渐近적으로 일치한다.
• Sliced-Wasserstein 거리의 근사 버전 역시 渐近적으로 일치하는 추정기를 도출한다.
• 중심극한정리가 유도되어 추정기의 渐近 분포가 정규분포이며, √n 수렴 속도를 가짐을 보여준다.
• 합성 데이터와 신경망 실험에서 √n 이론적 수렴 속도가 경험적으로 검증된다.
• 이론적 프레임워크가 GAN을 사용한 타원형 대칭 분포 및 고차원 실생활 데이터 모두에 적용 가능함이 입증된다.