[논문 리뷰] Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder

Hyungrok Ham, Tae Joon Jun외 1명|arXiv (Cornell University)|2020. 02. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 13

한 줄 요약

이 논문은 Unbalanced GANs를 제안하며, 초기 판별자 수렴을 방지하기 위해 생성자에 Variational Autoencoder (VAE)를 사전 훈련하여 훈련을 안정화시키는 방법을 제시한다. 사전 훈련된 VAE 디코더로 생성자를 초기화함으로써, 훈련 안정성이 향상되고 모드 붕괴가 감소하며, MNIST, CIFAR-10, LSUN Bedroom 데이터셋에서 초기 에포크부터 더 빠른 수렴과 향상된 이미지 품질을 달성한다.

ABSTRACT

We propose Unbalanced GANs, which pre-trains the generator of the generative adversarial network (GAN) using variational autoencoder (VAE). We guarantee the stable training of the generator by preventing the faster convergence of the discriminator at early epochs. Furthermore, we balance between the generator and the discriminator at early epochs and thus maintain the stabilized training of GANs. We apply Unbalanced GANs to well known public datasets and find that Unbalanced GANs reduce mode collapses. We also show that Unbalanced GANs outperform ordinary GANs in terms of stabilized learning, faster convergence and better image quality at early epochs.

연구 동기 및 목표

• 생성자보다 빠르게 수렴하는 판별자로 인해 발생하는 GAN 훈련의 불안정성 문제를 해결한다.
• 생성자와 판별자 간의 훈련 역학을 안정화시켜 GAN에서 흔히 발생하는 모드 붕괴라는 고장을 줄인다.
• 사전 훈련된 VAE 디코더로 생성자를 초기화하여 GAN의 초기 훈련 성능을 향상시킨다.
• VAE 사전 훈련을 활용한 단순하고 모듈화된 전이 학습 접근법을 제안하여, 강건하고 광범위하게 적용 가능한 GAN 기반 방법을 제공한다.
• VAE로 생성자를 사전 훈련하면 GAN 아키텍처를 수정하지 않고도 더 빠른 수렴과 향상된 이미지 품질을 달성할 수 있음을 입증한다.

제안 방법

• 목표 데이터셋에 대해 Variational Autoencoder (VAE)를 사전 훈련하여 잠재 분포를 학습하고 현실적인 이미지를 생성한다.
• VAE의 디코더에서 학습된 가중치를 GAN의 생성자 네트워크로 이관하여, 표준 정규 분포에 가까운 분포로 생성자를 초기화한다.
• 사전 훈련된 생성자를 GAN 훈련의 시작점으로 사용하여 생성자와 판별자 간의 균형 잡힌 학습 역학을 유지한다.
• 표준 적대적 손실(예: 표준 GAN, LSGAN, WGAN)을 사용하여 사전 초기화된 생성자를 활용해 GAN을 훈련시켜 훈련을 안정화시킨다.
• VAE 사전 훈련이 GAN 사전 훈련보다 고장 발생 가능성이 낮고 본질적으로 안정적이므로, 신뢰할 수 있는 초기화를 보장한다.
• 아키텍처 수정 없이 다양한 GAN 아키텍처(DCGAN, LSGAN, WGAN)와 데이터셋(MNIST, CIFAR-10, LSUN Bedroom)에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 VAE로 GAN 생성자를 사전 훈련하면 훈련 안정성과 모드 붕괴가 향상되는가?
• RQ2 VAE 디코더로 생성자를 초기화하면 초기 훈련 에포크에서 더 빠른 수렴과 향상된 이미지 품질을 달성하는가?
• RQ3 다양한 데이터셋과 아키텍처에서 Unbalanced GANs의 성능은 표준 GAN과 비교해 Inception Score와 손실 분산 측면에서 어떻게 다른가?
• RQ4 제안된 방법은 아키텍처 수정 없이 다양한 GAN 변종에 보편적으로 적용 가능한가?
• RQ5 VAE 사전 훈련은 GAN 기반 사전 훈련과 비교해 신뢰할 수 있고 고장에 강건한 초기화 방법이 될 수 있는가?

주요 결과

• 모든 훈련 에포크 동안 CIFAR-10에서 Unbalanced GANs는 일반 GAN보다 높은 Inception Score를 기록하며, 시간이 지남에 따라 격차가 커진다. 특히 WGAN에서 두드러진다.
• Unbalanced WGAN는 표준 WGAN 대비 Inception Score에서 뚜렷한 향상을 보이며, 더 나은 이미지 품질과 다양성을 의미한다.
• LSUN Bedroom 데이터셋에서 Unbalanced DCGAN는 5000 에포크까지 도달했을 때 구조적으로 일관된 침실 유사 이미지를 생성하지만, 표준 DCGAN는 의미 없는 패턴을 생성한다.
• Unbalanced LSGAN은 완전히 모드 붕괴를 피한다. 반면 표준 LSGAN는 초기 훈련 단계에서 왜곡되고 이상한 패턴을 생성한다.
• Unbalanced GANs의 손실는 일반 GAN보다 더 빠르게 수렴하고, 표준 편차가 낮아 더 안정적인 훈련 역학을 보인다.
• 사전 훈련된 VAE 디코더는 LSUN Bedroom에서 흐릿하지만 구조적으로 타당한 이미지를 생성하며, GAN이 이들을 향상시켜 더 선명하고 현실적인 샘플로 개선한다.