[논문 리뷰] Generative Adversarial Networks with Decoder-Encoder Output Noise

Guoqiang Zhong, Wei Gao외 2명|arXiv (Cornell University)|2018. 07. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 9

한 줄 요약

이 논문은 이미지 생성을 향상시키기 위해 사전 훈련된 디코더-에코더 오토인코더를 통해 랜덤 노이즈를 통과시켜 더 정보가 풍부한 잠재 벡터를 생성하는 새로운 생성적 적대적 네트워크인 DE-GANs를 제안한다. 변동형 베이지안 추론과 은닉 공간 손실을 통합함으로써 DE-GANs는 수렴 속도를 가속화하고 이미지 품질을 향상시켜 MNIST, CelebA, CIFAR-10에서 FID 유사 정확도와 더 부드러운 잠재 공간 구조를 바탕으로 DCGANs와 VAEs를 능가한다.

ABSTRACT

In recent years, research on image generation methods has been developing fast. The auto-encoding variational Bayes method (VAEs) was proposed in 2013, which uses variational inference to learn a latent space from the image database and then generates images using the decoder. The generative adversarial networks (GANs) came out as a promising framework, which uses adversarial training to improve the generative ability of the generator. However, the generated pictures by GANs are generally blurry. The deep convolutional generative adversarial networks (DCGANs) were then proposed to leverage the quality of generated images. Since the input noise vectors are randomly sampled from a Gaussian distribution, the generator has to map from a whole normal distribution to the images. This makes DCGANs unable to reflect the inherent structure of the training data. In this paper, we propose a novel deep model, called generative adversarial networks with decoder-encoder output noise (DE-GANs), which takes advantage of both the adversarial training and the variational Bayesain inference to improve the performance of image generation. DE-GANs use a pre-trained decoder-encoder architecture to map the random Gaussian noise vectors to informative ones and pass them to the generator of the adversarial networks. Since the decoder-encoder architecture is trained by the same images as the generators, the output vectors could carry the intrinsic distribution information of the original images. Moreover, the loss function of DE-GANs is different from GANs and DCGANs. A hidden-space loss function is added to the adversarial loss function to enhance the robustness of the model. Extensive empirical results show that DE-GANs can accelerate the convergence of the adversarial training process and improve the quality of the generated images.

연구 동기 및 목표

• 생성된 이미지의 흐림함과 낮은 다양성 문제를 해결하기 위해 입력 노이즈의 사전 분포를 개선한다.
• 적대적 훈련에 변동형 추론을 통합하여 데이터의 내재된 분포를 더 잘 포착한다.
• 구조화된 노이즈 사전 분포를 사용하여 GAN 훈련의 수렴 속도를 가속화하고 안정성을 향상시킨다.
• MNIST, CelebA, CIFAR-10과 같은 다양한 데이터셋에서 생성된 샘플의 이미지 품질과 의미적 일致성을 향상시킨다.

제안 방법

• 표준 가우시안 노이즈를 데이터 분포를 반영하는 더 정보가 풍부한 잠재 벡터로 변환하기 위해 사전 훈련된 디코더-에코더 오토인코더를 사용한다.
• 생성자는 원시 가우시안 노이즈 대신 정제된 노이즈 벡터를 수신함으로써 잠재 공간의 더 나은 초기화를 가능하게 한다.
• 생성자의 잠재 공간을 정규화하고 강건성을 향상시키기 위해 적대적 손실 외에 은닉 공간 손실을 도입한다.
• 디코더-에코더는 GAN과 동일한 데이터셋에서 훈련되어 학습된 사전 분포와 데이터 만행면 간의 일치를 보장한다.
• 생성자와 판별자 간의 적대적 훈련을 수행하며, 생성자는 변환된 노이즈에 조건부로 작동한다.
• 주성분 분석을 적용하여 가우시안 노이즈에서 더 구조화되고 희소한 사후 분포로의 분포 이동을 시각화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 오토인코더를 통해 랜덤 노이즈를 정제함으로써 GAN이 생성하는 이미지의 품질과 다양성을 향상시킬 수 있는가?
• RQ2 GAN 노이즈 공간에 변동형 베이지안 사전 분포를 통합하면 훈련 수렴 속도가 가속화되는가?
• RQ3 DE-GANs의 잠재 공간 구조는 표준 GANs나 VAEs와 비교해 부드러움과 분리 가능성 측면에서 어떻게 다른가?
• RQ4 은닉 공간 손실이 적대적 훈련의 안정성과 성능 향상에 얼마나 기여하는가?
• RQ5 DE-GANs는 MNIST, CelebA, CIFAR-10와 같은 다양한 이미지 데이터셋에서 일관된 향상 효과를 보일 수 있는가?

주요 결과

• DE-GANs는 사전 훈련된 분류기를 사용해 CIFAR-10에서 테스트 분류 정확도 78.0%를 기록했으며, DCGANs(75.2%)와 VAEs(38.5%)를 크게 능가했다.
• MNIST에서 생성된 숫자 중 99.1%가 CNN에 의해 정확히 분류되었으며, 이는 고품질이고 다양한 숫자 생성을 의미한다.
• 디코더-에코더에서 유래한 정보가 풍부한 사전 덕분에 DCGANs보다 빠른 수렴 속도를 보였으며, 단 2 에포크 만에 98%의 테스트 정확도에 도달했다.
• PCA를 통한 시각화 결과, 사후 노이즈 벡터가 원래의 가우시안 노이즈보다 더 희소하고 구조화되어 있음을 확인했으며, 이는 더 나은 사전 모델링을 의미한다.
• DE-GANs의 잠재 공간은 더 부드럽고 연속적인 구조를 보였으며, CelebA에서 얼굴 이미지 간의 현실적인 보간을 가능케 했다.
• rdd 지표는 DE-GANs가 MNIST에서 다양성을 유지했음을 확인했으며, DCGANs보다 손글씨 숫자와 인쇄체 숫자를 더 효과적으로 분리했다.