[논문 리뷰] IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis

Huaibo Huang, zhihang li외 3명|arXiv (Cornell University)|2018. 07. 17.

Generative Adversarial Networks and Image Synthesis인용 수 163

한 줄 요약

IntroVAE는 추가적인 판별기를 사용하지 않고 introspective하고 적대적으로 VAE를 학습시켜 단일 스트림, 단일 스테이지의 고해상도 사진 이미지 합성을 가능하게 하며, 최신 GAN과 품질 측면에서 견줄 만하다.

ABSTRACT

We present a novel introspective variational autoencoder (IntroVAE) model for synthesizing high-resolution photographic images. IntroVAE is capable of self-evaluating the quality of its generated samples and improving itself accordingly. Its inference and generator models are jointly trained in an introspective way. On one hand, the generator is required to reconstruct the input images from the noisy outputs of the inference model as normal VAEs. On the other hand, the inference model is encouraged to classify between the generated and real samples while the generator tries to fool it as GANs. These two famous generative frameworks are integrated in a simple yet efficient single-stream architecture that can be trained in a single stage. IntroVAE preserves the advantages of VAEs, such as stable training and nice latent manifold. Unlike most other hybrid models of VAEs and GANs, IntroVAE requires no extra discriminators, because the inference model itself serves as a discriminator to distinguish between the generated and real samples. Experiments demonstrate that our method produces high-resolution photo-realistic images (e.g., CELEBA images at \(1024^{2}\)), which are comparable to or better than the state-of-the-art GANs.

연구 동기 및 목표

• VAE로 생성된 이미지의 흐림 현상과 고해상도 합성에서의 학습 불안정성을 다루고 동기를 부여한다.
• 실제 데이터와 생성 데이터 간의 차이를 스스로 추정하는 introspective VAE를 제안한다.
• 추가 discriminators 없이 VAE와 GAN 유사적 차대 학습을 통합하는 간단하고 단일 스트림 아키텍처를 개발한다.
• 안정적인 학습과 경쟁력 있는 품질로 고해상도 사진 이미지 합성을 보여준다(예: 10242 CelebA-HQ).

제안 방법

• VAE 추론 모델을 판별기로, VAE 생성기를 GAN 생성기로 사용하여 최소-최대 게임을 형성한다.
• KL-발산 기반 정규화를 통한 적대적 분포 매칭: E는 실제 데이터에서 L_REG를 최소화하고 생성 데이터에서 최대화하며; G는 생성 데이터에서 L_REG를 최소화한다.
• ELBO(재구성) 목표와 적대적 목적을 통합하여 하이브리드 IntroVAE 학습 목표를 만든다.
• 손실: L_E(x,z)=E(x)+[m−E(G(z))]+L_AE(x); L_G(z)=E(G(z))+L_AE(x), 여기서 E는 인코더, G는 디코더/생성기, L_AE는 픽셀 단위 재구성 항이다.
• z=μ+σ⊙ε 및 KL 항 L_REG은 p(z)=N(0,I)에서 μ, σ로부터 계산한다.
• GAN과 유사한 단일 단계, 단일 스트림 네트워크로 학습하되 VAE의 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 고 introspective VAE(IntroVAE)가 추가 discriminators 없이 고해상도, 사진처럼 현실적인 이미지 합성을 달성할 수 있는가?
• RQ2 ELBO 재구성와 최소-최대 적대 목표를 결합하면 고해상도 이미지의 샘플 선명도, 다양성 및 학습 안정성이 향상되는가?
• RQ3 CelebA-HQ에서 10242 같은 데이터셋에 대해 단일 스트림, 단일 스테이지 아키텍처가 다중 스테이지 GAN(PGGAN)과 경쟁할 수 있는가?
• RQ4 IntroVAE가 실제 이미지 간 잠재 공간 품질 및 보간(interpolation) 측면에서 어떻게 작동하는가?

주요 결과

• IntroVAE가 CelebA-HQ에서 고해상도(10242) 사진 실감 이미지를 생성하며 GAN과 대등하거나 더 우수한 품질을 보인다.
• 학습은 E(x)가 일정한 선(대략 m 안에서 안정화될 때) 주변의 균형으로 수렴하며 불안정 없이 안정적으로 보인다.
• MS-SSIM 및 FID로 측정한 정량적 경쟁력 있는 샘플 다양성으로 CELEBA 및 LSUN BEDROOM 데이터셋에서 종종 PGGAN과 일치하거나 능가한다(예: CELEBA에서 MS-SSIM 0.2719 vs 0.2828; FID 0.0532 vs 0.0636; LSUN BEDROOM에서 FID 8.84 vs PGGAN 8.34).