[논문 리뷰] Diagnosing and Enhancing VAE Models

Bin Dai, David Wipf|arXiv (Cornell University)|2019. 03. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 95

한 줄 요약

본 논문은 Gaussian VAE 가정을 분석하고, ground-truth distributions를 회수할 수 있는 조건을 보이며, 추가 조정 없이 crisp samples와 competitive FID를 얻는 간단한 two-stage VAE 개선을 제안한다.

ABSTRACT

Although variational autoencoders (VAEs) represent a widely influential deep generative model, many aspects of the underlying energy function remain poorly understood. In particular, it is commonly believed that Gaussian encoder/decoder assumptions reduce the effectiveness of VAEs in generating realistic samples. In this regard, we rigorously analyze the VAE objective, differentiating situations where this belief is and is not actually true. We then leverage the corresponding insights to develop a simple VAE enhancement that requires no additional hyperparameters or sensitive tuning. Quantitatively, this proposal produces crisp samples and stable FID scores that are actually competitive with a variety of GAN models, all while retaining desirable attributes of the original VAE architecture. A shorter version of this work will appear in the ICLR 2019 conference proceedings (Dai and Wipf, 2019). The code for our model is available at https://github.com/daib13/ TwoStageVAE.

연구 동기 및 목표

• Gaussian encoder/decoder 가정이 VAEs가 다양한 매니폴드 차원에서 ground-truth 분포를 회수하는 능력에 어떤 영향을 미치는가를 조사한다.
• 잠재 차원의 역할이 데이터 매니폴드를 학습하는 것과 매니폴드 내 분포를 학습하는 것 사이에서 어떻게 달라지는지 최적 VAE 해를 특징짓는다.
• 비유일성 문제를 해결하고 추가 조정 없이 샘플 품질을 개선하기 위한 실용적 두 단계 VAE 개선을 제안한다.
• 중립적 테스트 조건에서 두 단계 접근법이 고품질 샘플과 안정된 FID 점수를 생성할 수 있음을 보여준다.

제안 방법

• kappa-simple VAE를 Gaussian encoder q_phi(z|x)와 Gaussian decoder p_theta(x|z)로 정의한다.
• 매니폴드 차원이 주변 공간과 같을 때(r=d), 특정 조건하에서 VAE 목표를 함께 최적화하고 ground-truth 분포를 회수하는 매개변수 시퀀스가 존재함을 증명한다.
• r<d일 때, 최적 해가 매니폴드를 따라 분포의 질량은 맞추되 ground-truth 분포를 매니폴드 내부에서 고유하게 재현하지는 못하는 최소화된 목표를 달성할 수 있음을 보여준다.
• VAE가 열악한 잠재 활동(활성 차원이 적음)을 선호하는 경향이 있으며 재구성 항이 decorder 분산 gamma가 0으로 수렴할 때 지배적으로 작용함을 드러낸다.
• 두 단계 VAE를 제안한다: 첫 번째 단계는 최소 활성 잠재수로 저차원 매니폴드를 학습하고, 두 번째 단계는 이 중간 코드에 대해 표준 정규 분포 prior에 맞추어 분포를 학습한다.

실험 결과

연구 질문

• RQ1 Gaussian VAE 가정이 r=d에서 ground-truth 분포의 회수를 가능하게 하는가 그리고 어떤 조건이 필요한가?
• RQ2 r<d일 때 전역 최적의 고유성과 학습된 ground-truth 매니폴드의 의미는 무엇인가?
• RQ3 비유일성 및 잠재 매칭의 문제를 어떻게 다루어 추가 조정 없이 샘플 품질을 향상시킬 수 있는가?
• RQ4 단순한 두 단계 VAE가 neutral 조건에서 GAN과 유사하게 선명한 샘플과 안정적인 FID를 달성할 수 있는가?

주요 결과

• kappa >= r인 경우 r=d일 때 적합한 조건하에 전역적으로 목적함수를 최적화하고 ground-truth 분포를 회수할 수 있는 VAE 해가 존재한다.
• r<d일 때, 최적 해는 매니폴드 질량을 맞추면서도 매니폴드 내부에서 mu_gt를 반드시 재현하지는 못하고 목표를 -무한대로 보낼 수 있다.
• 최적 해는 차원이 r인 비활성화된 잠재 활동을 보이며, 재구성의 동작은 decorder 분산 gamma가 0으로 수렴할 때 영향을 받는다.
• 두 단계 VAE를 도입하면 1단계에서 매니폴드의 좋은 잠재 표현을 회수하고 2단계에서 이 중간 코드에 대한 올바른 분포를 학습할 수 있다.
• 실험은 두 단계 접근법이 neutral 테스트에서 extra penalties나 tuning 없이 GAN과 대등하게 선명한 샘플과 안정적인 FID 점수를 만들어낸다.