[논문 리뷰] Variational Approaches for Auto-Encoding Generative Adversarial Networks

Mihaela Rosca, Balaji Lakshminarayanan외 2명|arXiv (Cornell University)|2017. 06. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 247

한 줄 요약

본 논문은 판별기를 통해 학습된 합성 우도와 암시적 사후 분포를 활용하여 변분 오토인코더와 GAN의 원칙적 하이브리드(alpha-GAN)를 제안하고, VAE의 안정성과 GAN의 선명도를 결합하려는 시도를 한다. 또한 DC-GAN, WGAN-GP, AGE와 비교 평가를 수행한다.

ABSTRACT

Auto-encoding generative adversarial networks (GANs) combine the standard GAN algorithm, which discriminates between real and model-generated data, with a reconstruction loss given by an auto-encoder. Such models aim to prevent mode collapse in the learned generative model by ensuring that it is grounded in all the available training data. In this paper, we develop a principle upon which auto-encoders can be combined with generative adversarial networks by exploiting the hierarchical structure of the generative model. The underlying principle shows that variational inference can be used a basic tool for learning, but with the in- tractable likelihood replaced by a synthetic likelihood, and the unknown posterior distribution replaced by an implicit distribution; both synthetic likelihoods and implicit posterior distributions can be learned using discriminators. This allows us to develop a natural fusion of variational auto-encoders and generative adversarial networks, combining the best of both these methods. We describe a unified objective for optimization, discuss the constraints needed to guide learning, connect to the wide range of existing work, and use a battery of tests to systematically and quantitatively assess the performance of our method.

연구 동기 및 목표

• GAN의 계층적 잠재 구조를 이용한 자동인코더와 GAN의 원칙적인 융합을 동기 부여하고 형식화한다.
• 계산하기 어려운 가능도(likelihoods)를 합성 가능도(synthetic likelihoods)로, 사후 분포를 암시적(discriminator에 의해 학습된) 분포로 대체하는 변분 프레임워크를 개발한다.
• 재구성, 합성 가능도, 잠재 코드 구분을 결합하는 통합 alpha-GAN 목표를 제안한다.
• 재구성을 가능하게 하면서 학습을 안정화하고 모드 붕괴를 방지하기 위한 실용적 학습 전략을 제공한다.]
• method([

제안 방법

• 밀도 비율 기법과 판별기를 사용하여 암시적 사후에 대해 변분 추론을 수행한다.
• 계산하기 어려운 가능도는 판별 기반의 밀도 비율을 통해 학습된 합성 가능도로 대체한다.
• L1 손실을 갖는 명시적 재구성 항과 합성 가능도 판별기를 통한 적대적 재구성 항을 도입한다.
• 인코더 출력이 사전 분포와 일치하도록 잠재 공간 판별기를 도입한다.
• 재구성, 합성 가능도, 잠재 코드 매칭을 결합하는 하이브리드 목적 함수를 공식화한다(alpha-GAN).
• 학습 향상: 비포화(non-saturating) 그래디언트를 위한 역 KL 업데이트와 가짜 데이터 및 재구성에 대해 하나의 판별기를 공유하는 방법을 제공한다.

실험 결과

연구 질문

• RQ1 변분 추론이 암시적 사후 및 합성 가능도를 사용함으로써 GAN과 효과적으로 통합될 수 있는가?
• RQ2 오토인코더 재구성 손실과 적대적 학습을 결합하면 사전 학습 없이도 모드 커버리지와 샘플 품질이 향상되는가?
• RQ3 alpha-GAN은 표준 데이터셋에서 재구성 및 생성 태스크에 대해 DC-GAN, WGAN-GP, AGE와 어떻게 비교되는가?
• RQ4 실용적 학습 전략은 alpha-GAN 최적화를 안정화하고 충실한 재구성을 지원하는가?

주요 결과

• Alpha-GAN은 여러 데이터셋에서 최첨단 GAN 변형 및 AGE와 경쟁력 있는 성능을 달성한다.
• 모델은 입력의 재구성을 제공하여 일반 GAN의 주요 한계를 다룬다.
• Alpha-GAN의 평가에는 샘플 품질과 모드 커버리지를 평가하기 위해 독립적인 Wasserstein 비평가와 인셉션 점수 등의 다수 지표가 사용된다.
• 재구성 항은 모드 붕괴를 완화하는 데 도움을 주는 반면 적대적 구성요소는 샘플의 현실성을 향상시킨다.
• 구조적 선택과 생성기, 인코더, 판별기 간의 업데이트 비율은 성능과 안정성에 큰 영향을 미친다.
• 비교 평가에서 평가 네트워크(ImageNet 대 CIFAR-10 네트가 다를 때 이미지 품질 지표 간 차이가 비트리비얼하게 나타난다.