[논문 리뷰] Wasserstein-Wasserstein Auto-Encoders

Shunkang Zhang, Yuan Gao외 4명|arXiv (Cornell University)|2019. 02. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 5

한 줄 요약

이 논문은 깊이 있는 생성 모델인 워셔스타인-워셔스타인 오토인코더(wwae)를 제안한다. 이 모델은 실재 데이터 분포와 생성된 분포 사이의 벌점 부과 최적 운반 이론을, 정규 분포 사전과 집합 사후 분포 사이의 폐쇄형 제곱 워셔스타인-2 거리로 최소화함으로써, VAE 및 WAE보다 더 선명한 이미지 생성과 더 나은 잠재 공간 구조를 달성한다. MNIST, 패션-MNIST, CelebA에서 최신 기준 FID 점수를 기록하며, 학습 불안정성과 흐림을 피한다.

ABSTRACT

To address the challenges in learning deep generative models (e.g.,the blurriness of variational auto-encoder and the instability of training generative adversarial networks, we propose a novel deep generative model, named Wasserstein-Wasserstein auto-encoders (WWAE). We formulate WWAE as minimization of the penalized optimal transport between the target distribution and the generated distribution. By noticing that both the prior $P_Z$ and the aggregated posterior $Q_Z$ of the latent code Z can be well captured by Gaussians, the proposed WWAE utilizes the closed-form of the squared Wasserstein-2 distance for two Gaussians in the optimization process. As a result, WWAE does not suffer from the sampling burden and it is computationally efficient by leveraging the reparameterization trick. Numerical results evaluated on multiple benchmark datasets including MNIST, fashion- MNIST and CelebA show that WWAE learns better latent structures than VAEs and generates samples of better visual quality and higher FID scores than VAEs and GANs.

연구 동기 및 목표

• 변분 오토인코더(VAE)의 흐림 문제와 생성 대비 신경망(GAN)의 학습 불안정성 문제를 해결하기 위해.
• 최적 운반 이론을 활용하여 깊이 있는 생성 모델의 잠재 공간 구조와 샘플 품질을 향상시키기 위해.
• 기존의 최적 운반 기반 오토인코더인 WAE-MMD와 마찬가지로 샘플링 부담과 계산적 비효율성을 제거하기 위해.
• VAE의 안정성과 GAN의 정성적 품질을 결합한 계산적으로 효율적인 모델을 개발하기 위해.
• 다양한 벤치마크 데이터셋에서 이미지 생성 품질과 FID 점수에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 실제 데이터 분포와 생성된 분포 사이의 벌점 부과 최적 운반 이론을 최소화하는 생성 모델로 설정한다.
• 두 정규 분포 사이의 폐쇄형 제곱 워셔스타인-2 거리를 사용하여 잠재 코드의 집합 사후 분포를 표준 정규 사전 분포로 정규화한다.
• 재파rameterization 기법을 활용하여 효율적인 역전파를 가능하게 하고, 최적화 과정에서 샘플링을 피한다.
• 심층 신경망 생성기 $G_{\theta}$를 사용하여 잠재 코드 $Z \sim P_Z$ 를 데이터 공간으로 매핑하며, 생성된 분포와 실제 분포 사이의 워셔스타인-2 거리를 최소화하는 것을 목표로 한다.
• 잠재 공간(사전과 사후의 일치)과 데이터 공간(실제와 생성된 분포의 일치)에 대한 이중 정규화를 도입한다.
• 워셔스타인-2 거리의 해석적 형태를 사용하여 확률적 경사 하강법으로 목적 함수를 최적화하며, GAN 방식의 판별기 학습을 피한다.

실험 결과

연구 질문

• RQ1 폐쇄형 워셔스타인-2 거리 기반 최적 운반 정규화가 오토인코더의 잠재 공간 분리성과 샘플 품질을 향상시키는가?
• RQ2 WAE에서 MMD 기반 정규화를 워셔스타인-2 거리로 대체할 경우, VAE보다 더 선명한 샘플과 감소된 흐림을 달성하는가?
• RQ3 제안된 WWAE 모델이 GAN에서 흔히 발생하는 모드 붕괴나 불안정성 문제 없이 안정적인 학습을 수행할 수 있는가?
• RQ4 MNIST, 패션-MNIST, CelebA와 같은 다양한 데이터셋에서 WWAE의 FID 점수는 VAE, WAE-MMD, DCGAN과 비교해 어떻게 되는가?
• RQ5 폐쇄형 워셔스타인-2 거리의 사용이 최적 운반 정규화에서 샘플링이 필요 없게 하여 계산 효율성을 향상시키는가?

주요 결과

• WWAE는 모든 세 가지 벤치마크 데이터셋에서 VAE 및 WAE-MMD보다 낮은 FID 점수를 기록한다: MNIST에서 45, 패션-MNIST에서 51, CelebA에서 55.
• CelebA 데이터셋에서 WWAE는 WAE-MMD와 동일한 FID 점수(55)를 기록하지만, VAE 및 WAE-MMD보다 시각적으로 더 선명한 샘플을 생성한다.
• qualitative 비교를 통해 WWAE는 VAE보다 더 흐릿한 이미지를 생성하지 않으며, 더 적은 잡음과 더 선명한 숫자 구조를 보인다.
• WWAE가 학습한 잠재 공간은 클래스 간 보간이 더 부드럽게 이루어지며(예: 숫자 0과 6 사이), 더 나은 분리성과 연속성을 나타낸다.
• 특히 장기간 학습 동안 DCGAN에서 관찰되는 학습 불안정성과 모드 붕괴 현상은 WWAE에서 피한다.
• 왜곡과 잡음이 적은 생성 샘플을 보이며, DCGAN, VAE, WAE-MMD보다 뛰어난 시각적 품질을 보인다.