[논문 리뷰] Wasserstein Auto-Encoders

Ilya Tolstikhin, Olivier Bousquet외 2명|arXiv (Cornell University)|2017. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 192

한 줄 요약

Wasserstein Auto-Encoders (WAE)는 인코더–디코더 프레임워크를 사용하여 데이터 분포와 모델 분포 간의 Wasserstein 거리를 최소화하고, encoded latent 분포를 prior와 일치시키기 위해 GAN 기반 또는 MMD 기반 페널티를 적용함으로써 안정적인 학습과 VAEs에 비해 향상된 샘플 품질을 얻는다.

ABSTRACT

We propose the Wasserstein Auto-Encoder (WAE)---a new algorithm for building a generative model of the data distribution. WAE minimizes a penalized form of the Wasserstein distance between the model distribution and the target distribution, which leads to a different regularizer than the one used by the Variational Auto-Encoder (VAE). This regularizer encourages the encoded training distribution to match the prior. We compare our algorithm with several other techniques and show that it is a generalization of adversarial auto-encoders (AAE). Our experiments show that WAE shares many of the properties of VAEs (stable training, encoder-decoder architecture, nice latent manifold structure) while generating samples of better quality, as measured by the FID score.

연구 동기 및 목표

• Optimal transport에 뿌리를 둔 생성 모델링 프레임워크를 제시하여 안정적인 학습과 해석 가능한 잠재 매니폴드를 얻는다.
• 실제 데이터와 모델 분포 간의 Wasserstein 거리를 최소화하는 새로운 자동인코더 objective를 개발한다.
• Encoded latent 분포를 prior와 정렬하기 위한 두 가지 정규화 전략: GAN 기반(WAE-GAN)과 MMD 기반(WAE-MMD)을 제안한다.
• WAEs가 VAE와 같은 이점을 유지하면서 MNIST와 CelebA에서 더 높은 품질의 샘플을 생성함을 입증한다.

제안 방법

• Wasserstein auto-encoder objective를 확률적 인코더 Q(Z|X)의 최소화로 형식화하고, 재구성 비용의 기대값에 QZ가 prior PZ와 일치하도록 하는 벌점(QZ와 PZ 간의 거리 D_Z(QZ, PZ))을 더한다.
• OT 비용의 primal 형태를 사용하여 최적 수송 커플링에 대해 잠재 부분 분포 QZ가 prior PZ와 같아야 함을 도출한다.
• 두 가지 구체적 벌점을 제공한다: (a) 잠재 공간에서의 적대적 학습을 이용한 GAN 기반 D_Z(WAE-GAN), (b) 특징 커널을 갖는 최대 평균 차이(MMD)(WAE-MMD).
• deterministic 또는 probabilistic 인코더 중 하나를 선택하고 Q와 G를 매개변수화하기 위해 심층 네트워크를 사용한다.
• 제곱 비용 c(x,y)=||x−y||^2를 사용하여 MNIST와 CelebA에서 평가하고, VAE와 비교하여 샘플 품질이 개선되었음을 보인다.

실험 결과

연구 질문

• RQ1 데이터와 생성 분포 간의 Wasserstein 거리를 계산적으로 다룰 수 있는 정규화된 자동인코더를 구성할 수 있는가?
• RQ2 잠재 인코딩을 지정된 prior와 일치시키려면 어떻게 정규화할 수 있으며, GAN 기반과 MMD 기반 벌점의 트레이드오프는 무엇인가?
• RQ3 WAEs가 안정적인 학습과 잠재 매니폴드를 유지하면서 VAE에 비해 샘플 품질을 개선하는가?
• RQ4 표준 벤치마크(MNIST, CelebA)에서 재구성, 잠재 구조, 샘플 리얼리즘 측면에서 WAEs의 성능은 어떠한가?

주요 결과

모델	FID	선명도
VAE	63	3×10^-3
WAE-MMD	55	6×10^-3
WAE-GAN	42	6×10^-3
bigVAE	45	—
bigWAE-MMD	37	—
bigWAE-GAN	35	—
True data	2	2×10^-2

• WAEs는 adversarial auto-encoders를 일반화하며, 어떤 비용 c와 잠재 공간 간 차이 D_Z(QZ, PZ)도 허용한다.
• WAE-GAN과 WAE-MMD는 안정적인 학습과 잠재 공간 정규화를 달성하여 MNIST와 CelebA에서 VAEs보다 더 높은 품질의 샘플을 생성한다.
• WAE 샘플은 GAN 품질에 근접하면서도 VAE의 인코더–디코더 구조 및 잠재 매니폴드 특성을 보유한다.
• WAE-MMD는 안정적인 학습과 경쟁력 있는 샘플 품질을 보이며, CelebA에서 때때로 샘플 리얼리즘 측면에서 WAE-GAN이 우수한 경우가 있다.
• CelebA에 대한 정량적 결과에서 WAE-GAN이 보고된 변형들 중 최상의 Fréchet Inception Distance (FID)를 달성했으며, WAE-MMD 역시 VAE를 능가한다.