[논문 리뷰] Learning the Base Distribution in Implicit Generative Models

Y. Cem Sübakan, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2018. 03. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 10

한 줄 요약

이 논문은 암시적 생성 모델링을 위한 이단계 방법을 제안하며, 복잡한 기본 분포를 잠재 공간에서 학습함으로써, 적대적 훈련 없이 최대우도를 최대화함으로써 VAE와 GAN을 향상시킨다. 이 방법은 기본 분포 학습을 신경망 인코더에서 분리함으로써, 이미지 및 순차적 음성과 같은 복잡한 데이터 분포를 더 정확하게 모델링할 수 있게 하며, MNIST, CELEBA, 음성 및 음악 데이터셋에서의 실험적 성과를 보인다.

ABSTRACT

Popular generative model learning methods such as Generative Adversarial Networks (GANs), and Variational Autoencoders (VAE) enforce the latent representation to follow simple distributions such as isotropic Gaussian. In this paper, we argue that learning a complicated distribution over the latent space of an auto-encoder enables more accurate modeling of complicated data distributions. Based on this observation, we propose a two stage optimization procedure which maximizes an approximate implicit density model. We experimentally verify that our method outperforms GANs and VAEs on two image datasets (MNIST, CELEB-A). We also show that our approach is amenable to learning generative model for sequential data, by learning to generate speech and music.

연구 동기 및 목표

• 복잡한 데이터를 모델링하는 데서 표현력이 제한되는 단순한 사전 분포(예: 등방성 가우시안)를 사용하는 VAE와 GAN의 한계를 해결한다.
• 적대적 훈련과 판별기 네트워크를 피하여 GAN에서 흔히 발생하는 모드 붕괴와 훈련 불안정성을 해결한다.
• 계산이 불가능한 우도 계산을 피하면서도 원칙적인 최대우도 접근법을 암시적 생성 모델에 적용한다.
• 학습 가능한 복잡한 기본 분포를 통해 고차원이고 다중모달 데이터, 예를 들어 이미지와 순차적 음성 데이터를 효과적으로 모델링할 수 있도록 한다.
• 기본 분포 학습을 인코더 네트워크에서 분리함으로써, 종단간 GAN이나 VAE보다 훈련을 단순화하고 안정성을 향상시킨다.

제안 방법

• 기본 분포를 잠재 공간에 대해 학습하기 위한 이단계 최적화 절차를 제안한다: 먼저 밀도 모델을 사용해 잠재 공간에 대한 기본 분포를 훈련하고, 그 다음 데이터를 이 학습된 기본 분포로 매핑하는 오토인코더를 훈련한다.
• 잠재 공간의 기본 분포를 근사하기 위해 암시적 밀도 모델을 사용함으로써, 복잡하고 비가우시안적인 구조를 포착할 수 있다.
• 몬테카를로 근사를 사용해 모델 하에서 데이터의 로그우도를 최대화함으로써, 최대우도 원칙을 준수한다.
• 기본 분포 훈련을 신경망 인코더에서 분리함으로써, 기본 분포를 독립적으로 안정적으로 최적화할 수 있다.
• 인코더가 데이터를 잠재 공간으로 매핑하고, 디코더가 학습된 기본 분포에서 데이터를 재구성하는 변분 추론 프레임워크를 적용한다.
• 순차적 데이터의 경우, 대각행렬 공분산 가우시안을 가진 HMM을 사용해 학습된 기본 분포를 모델링함으로써, 음성과 음악을 잠재 시퀀스에서 생성할 수 있다.

실험 결과

연구 질문

• RQ1 등방성 가우시안과 같은 단순한 사전 분포보다 복잡한 기본 분포를 잠재 공간에서 학습함으로써 생성 샘플의 품질이 향상되는가?
• RQ2 기본 분포 학습을 인코더 네트워크에서 분리함으로써 종단간 GAN이나 VAE보다 더 안정적이고 효과적인 훈련이 가능한가?
• RQ3 제안된 방법은 모드 붕괴 없이 이미지 및 순차적 데이터(예: 음성 및 음악) 모두에서 고해상도 샘플을 생성할 수 있는가?
• RQ4 샘플 품질, 훈련 안정성, 하이퍼파rameter 민감도 측면에서 GAN과 VAE에 비해 어떻게 비교되는가?
• RQ5 탄력적인 학습된 기본 분포를 통해 다중모달성과 고차원 데이터 분포를 얼마나 잘 모델링할 수 있는가?

주요 결과

• 정성적 및 정량적 평가를 통해, 제안된 방법은 MNIST 및 CELEBA 데이터셋에서 샘플 품질과 다양성 측면에서 GAN과 VAE를 모두 능가한다.
• 모델은 파형 도메인에서 실제적인 음성 및 음악 샘플을 성공적으로 생성하여, 복잡한 구조를 가진 순차적 데이터에 대한 효과성을 입증한다.
• 최대우도 목적함수와 적대적 훈련의 부재로 인해 생성 샘플은 일관된 구조를 가지며, GAN과 달리 모드 붕괴를 피한다.
• GAN보다 훨씬 더 안정적인 훈련 과정을 보이며, 학습률과 네트워크 아키텍처 선택에 대한 민감도가 감소한다.
• 복잡한 기본 분포(예: HMM을 통해 학습)를 사용함으로써, 단순한 사전 분포보다 다중모달 데이터 분포를 더 잘 모델링할 수 있다.
• 이단계 훈련 절차 덕분에 모델은 더 표현력 있는 잠재 공간을 학습할 수 있었고, 이는 재구성 및 생성 성능 향상으로 이어졌다.