[논문 리뷰] VEEGAN: Reducing Mode Collapse in GANs using Implicit Variational Learning

Akash Srivastava, Lazar Valkov외 3명|arXiv (Cornell University)|2017. 05. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 273

한 줄 요약

VEEGAN은 데이터를 가우시안 노이즈로 다시 매핑하는 재구성기 네트워크를 도입하고, 암시적 변분 objective를 사용하여 생성기와 함께 공동으로 학습함으로써 모드 붕괴를 완화하고 더 높은 품질의 샘플을 생성합니다.

ABSTRACT

Deep generative models provide powerful tools for distributions over complicated manifolds, such as those of natural images. But many of these methods, including generative adversarial networks (GANs), can be difficult to train, in part because they are prone to mode collapse, which means that they characterize only a few modes of the true distribution. To address this, we introduce VEEGAN, which features a reconstructor network, reversing the action of the generator by mapping from data to noise. Our training objective retains the original asymptotic consistency guarantee of GANs, and can be interpreted as a novel autoencoder loss over the noise. In sharp contrast to a traditional autoencoder over data points, VEEGAN does not require specifying a loss function over the data, but rather only over the representations, which are standard normal by assumption. On an extensive set of synthetic and real world image datasets, VEEGAN indeed resists mode collapsing to a far greater extent than other recent GAN variants, and produces more realistic samples.

연구 동기 및 목표

• 생성기가 데이터 분포의 모드를 놓치는 GAN에서 모드 붕괴를 동기화하고 이를 해결하는 것을 목표로 한다.
• 실제 데이터를 가우시안 노이즈로 매핑하고 생성기를 대략 역전시키는 재구성기 네트워크를 제안한다.
• 잠재 표현에 대한 재구성 손실과 KL 유사 항을 결합하는 암시적 변분 목표를 개발한다.
• 이 목표를 최적화하면 명시적 데이터 공간 재구성 손실을 요구하지 않고도 생성기가 전체 데이터 분포를 다루도록 촉진한다.]
• method':['데이터 X를 잠재 노이즈 Z로 매핑하고 생성기 G_gamma를 대략 역전시키는 재구성기 네트워크 F_theta를 도입한다.','잠재 표현에 대한 자동인코더와 유사한 손실과 F_theta(X)가 사전 분포 Z~p0(z)와 일치하도록 보장하는 교차 엔트로피 항을 결합하는 암시적 변동 목표를 공식화한다.','암시적 분포를 다루기 위해 q_gamma(x|z)라는 분산 분포를 사용하여 계산 가능한 상한을 도출한다.','암시적 모델이 존재하는 상황에서 KL 유사 목표에 필요한 밀도 비를 추정하기 위해 학습된 판별기 D_omega를 사용한다.','확률적 경사하강법으로 γ(생성기)와 θ(재구성기)에 대해 공동 목표를 최적화하고, GAN에서와 같이 판별기 업데이트를 수행한다.','노이즈 공간 자동인코딩과 데이터-대-노이즈 매핑의 구분을 강조하며 BiGAN/ALI, InfoGAN, 그리고 적대적 자동인코더와의 차이점을 설명한다.']
• research_questions':['데이터를 가우시안 노이즈로 매핑하는 재구성기를 추가하면 GAN에서 모드 붕괴를 탐지하고 완화하는 데 도움이 되는가?','암시적 변분 목표가 노이즈 공간 자동인코더와 결합되어 판별기가 정보를 주지 않더라도 강력한 학습 신호를 제공할 수 있는가?','어떻게 VEEGAN은 기존 GAN 변형들(예: ALI, Unrolled GAN, InfoGAN)과 비교하여 합성 및 실제 이미지 데이터셋에서 모드 커버리지와 샘플 품질 측면에서 차이를 보이는가?','GAN 훈련에서 데이터 공간 자동인코더보다 노이즈 기반 자동인코더를 사용하는 실용적 훈련 고려사항과 이점은 무엇인가?']
• key_findings':['VEEGAN은 합성 및 실제 이미지 데이터셋에서 여러 최첨단 GAN 변형보다 모드 붕괴를 더 효과적으로 감소시킨다.','이 방법은 더 다양하고 현실적인 샘플을 만들어 데이터 모드의 커버리지를 개선한다.','노이즈 공간 자동인코더(잠재 z를 자동인코딩하는 것)를 사용하면 데이터 공간 재구성 손실을 요구하지 않고도 안정적인 학습 신호를 제공한다.','이 방법은 기본 하이퍼파라미터로도 효과적으로 작동하며 정규화 가중치의 광범위한 조정에 의존하지 않는다.','VEEGAN은 MNIST를 쌓은 stacked MNIST와 CIFAR-10 데이터셋에서 GAN, ALI, Unrolled GAN과 같은 기준선에 비해 모드 포착 및 샘플 충실도가 향상된다.']
• table_headers:[]
• table_rows:[]

제안 방법

• Introduce a reconstructor network F_theta that maps data X to latent noise Z and approximately inverts the generator G_gamma.
• Formulate an implicit variational objective that combines an autoencoder-like loss on latent representations with a cross-entropy term ensuring F_theta(X) matches the prior Z~p0(z).
• Derive a computable bound using a variational distribution q_gamma(x|z) to handle implicit distributions.
• Use a learned discriminator D_omega to estimate a density-ratio term needed for the KL-like objective in the presence of implicit models.
• Optimize the joint objective with respect to gamma (generator) and theta (reconstructor) using stochastic gradient descent, together with discriminator updates (as in GANs).
• Explain differences to BiGAN/ALI, InfoGAN, and adversarial autoencoders, highlighting the noise-space autoencoding and the data-to-noise mapping distinction.

실험 결과

연구 질문

• RQ1 Does adding a reconstructor that maps data to Gaussian noise help detect and mitigate mode collapse in GANs?
• RQ2 Can an implicit variational objective, coupled with a noise-space autoencoder, provide strong learning signals even when the discriminator is non-informative?
• RQ3 How does VEEGAN compare to existing GAN variants (e.g., ALI, Unrolled GAN, InfoGAN) in terms of mode coverage and sample quality across synthetic and real image datasets?
• RQ4 What are the practical training considerations and benefits of using a noise-based autoencoder over a data-space autoencoder in GAN training?

주요 결과

• VEEGAN reduces mode collapse more effectively than several state-of-the-art GAN variants on synthetic and real image datasets.
• The approach yields more diverse and realistic samples, with better coverage of data modes.
• Using a noise-space autoencoder (autoencoding latent z) provides stable training signals without requiring a data-space reconstruction loss.
• The method remains effective with default hyperparameters and does not rely on extensive tuning of regularization weights.
• VEEGAN demonstrates improved mode capture and sample fidelity on stacked MNIST and CIFAR-10 datasets compared to baselines like GAN, ALI, and Unrolled GAN.