[논문 리뷰] On Unifying Deep Generative Models

Zhiting Hu, Zichao Yang외 2명|arXiv (Cornell University)|2017. 06. 02.

Cellular Automata and Applications인용 수 75

한 줄 요약

본 논문은 GAN과 VAE를 연결하는 통합 프레임워크를 제시하며, GAN 샘플 생성을 사후 추론으로 재해석하여 기법 간의 교차 전이를 가능하게 한다.

ABSTRACT

Deep generative models have achieved impressive success in recent years. Generative Adversarial Networks (GANs) and Variational Autoencoders (VAEs), as emerging families for generative model learning, have largely been considered as two distinct paradigms and received extensive independent studies respectively. This paper aims to establish formal connections between GANs and VAEs through a new formulation of them. We interpret sample generation in GANs as performing posterior inference, and show that GANs and VAEs involve minimizing KL divergences of respective posterior and inference distributions with opposite directions, extending the two learning phases of classic wake-sleep algorithm, respectively. The unified view provides a powerful tool to analyze a diverse set of existing model variants, and enables to transfer techniques across research lines in a principled way. For example, we apply the importance weighting method in VAE literatures for improved GAN learning, and enhance VAEs with an adversarial mechanism that leverages generated samples. Experiments show generality and effectiveness of the transferred techniques.

연구 동기 및 목표

• 단일 프레임워크 하에서 GAN과 VAE 간의 연결을 동기 부여하고 형식화한다.
• GAN과 VAE가 후방/추론 분포의 상반된 KL 발산을 최소화함을 보인다.
• wake-sleep 패러다임을 확장하여 학습 역학을 해석하고 통합한다.
• GAN과 VAEs 간 기술의 교차 전이를 통해 교류를 시연한다 (예: IWGAN, adversarial VAEs).
• InfoGAN, AAE, CycleGAN 등 GAN/VAE 변형을 분석하고 확장하기 위한 일반 도구를 제공한다.

제안 방법

• GAN을 판별적 적대적 목표를 가진 후방 추론 수행으로 재구성한다.
• VAE를 학습에서 가짜 샘플을 차단하는 저하된 적대적 메커니즘으로 해석한다.
• 상반된 KL 발산을 통해 wake-sleep 알고리즘과의 형식적 연결을 확립한다.
• InfoGAN 스타일 증강을 도입하고 IWGAN을 주변우도(marginal likelihood)에 대한 더 촘촘한 상한으로 도출한다.
• 그래픽 모델을 통해 InfoGAN, AAE, CycleGAN 등 다양한 GAN/VAE 변형이 통합된 형태에 맞는 것을 시연한다.
• KL/JSD 항을 통해 학습 역학과 mode missing에 대한 분석적 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 GAN과 VAE를 단일 확률 프레임워크로 통합할 방법은 무엇인가?
• RQ2 GAN/VAE 학습에서 KL 발산과 적대적 목표의 정확한 역할은 무엇인가?
• RQ3 VAE의 기술(예: 중요 가중치 부여)이 GAN을 개선할 수 있으며 그 반대도 가능한가?
• RQ4 InfoGAN, AAE, CycleGAN 과 같은 변형들이 통합된 형태에 어떻게 들어맞는가?
• RQ5 통합 관점에서 mode missing과 같은 현상은 무엇으로 설명되는가?

주요 결과

• GAN은 ADA-inspired 프레임워크 내의 후방 추론으로 해석될 수 있다.
• VAEs는 학습에서 가짜 샘플을 배제하는 저하된 적대적 메커니즘을 갖는 것으로 보일 수 있다.
• IWGAN은 VAEs의 IWAE에 상응하는 주변우도에 대한 더 촘촘한 bound를 이끈다.
• 적대적 메커니즘을 VAE에 전이시켜 생성된 샘플을 학습에 활용할 수 있다.
• 통합 관점은 다수의 GAN/VAE 변형을 통일하며, 원칙적인 기법 간 교차적 확산을 가능하게 한다.
• 학습 역학은 KL 발산 및 JSD 항을 통해 설명되며, 모드 커버리지와 최적화 동작을 명확히 한다.