[논문 리뷰] Distribution Matching in Variational Inference

Mihaela Rosca, Balaji Lakshminarayanan외 1명|arXiv (Cornell University)|2018. 02. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 50

한 줄 요약

논문은 VAEs가 잠재 및 가시 공간의 한계 분포를 맞추지 못함을 보여주고, 밀도 비율을 이용한 VAE-GAN 하이브리드를 분석하며, 현재 하이브리드의 확장성은 제한적이고 샘플 품질 측면에서 GAN을 능가하지 못한다고 결론짓습니다.

ABSTRACT

With the increasingly widespread deployment of generative models, there is a mounting need for a deeper understanding of their behaviors and limitations. In this paper, we expose the limitations of Variational Autoencoders (VAEs), which consistently fail to learn marginal distributions in both latent and visible spaces. We show this to be a consequence of learning by matching conditional distributions, and the limitations of explicit model and posterior distributions. It is popular to consider Generative Adversarial Networks (GANs) as a means of overcoming these limitations, leading to hybrids of VAEs and GANs. We perform a large-scale evaluation of several VAE-GAN hybrids and analyze the implications of class probability estimation for learning distributions. While promising, we conclude that at present, VAE-GAN hybrids have limited applicability: they are harder to scale, evaluate, and use for inference compared to VAEs; and they do not improve over the generation quality of GANs.

연구 동기 및 목표

• 다양한 데이터셋과 잠재 차원에서 VAEs가 잠재 공간과 가시 공간의 한계 분포를 일관되게 매칭하기 어려움을 보인다.
• 명시적 분포와 암시적 분포가 VAE의 분포 매칭 및 학습에 어떤 영향을 미치는지 분석한다.
• 밀도 비율 트릭을 사용하여 VAE-GAN 하이브리드를 평가하고 이들의 우도 추정 및 확장성에 미치는 영향을 분석한다.
• 잠재 공간의 한계 분포 매칭이 학습 표현에 어떤 역할을 하는지 조사한다.
• VAE-GAN 하이브리드가 생성 및 추론 측면에서 VAE나 GAN에 비해 실용적 이점을 제공하는지 평가한다.

제안 방법

• ELBO와 한계 분포 매칭과 조건부 매칭의 관계를 도출 및 검토한다.
• ColorMNIST, CelebA, CIFAR-10 전반의 실험을 통해 다양한 포스트eriors 및 visibles 하에서의 한계 KL: q(z)||p(z)를 정량화한다.
• Adversarial Autoencoders와 AAEs를 통해 암시적 포스트eriors 및 잠재 공간의 한계 분포 매칭을 가능하게 하는 밀도 비율 트릭을 적용한다.
• 잠재 공간의 한계 분포 매칭을 실현하기 위해 VGH 및 VGH++ 변형을 도입하고 비교한다.
• ELBO 대신 Inception Score, 다양성, Wasserstein 비평가 지표로 모델을 평가한다.
• 밀도 비율 추정이 우도 상한과 모델 평가에 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 잠재 차원에서 VAEs가 잠재 공간과 가시 공간의 한계 분포를 일관되게 매칭할 수 있는가?
• RQ2 명시적 포스트eriors 또는 명시적 모델이 조건부 매칭보다 한계 분포 매칭을 더 제한하는가?
• RQ3 VAE-GAN 하이브리드가 VAEs 및 GAN에 비해 샘플 품질이나 확장성을 개선하는가?
• RQ4 잠재 공간의 한계 분포 매칭이 학습 표현 및 추론 능력에 영향을 미치는가?
• RQ5 밀도 비율 트릭이 VAE-GAN 하이브드의 평가를 위한 신뢰할 수 있는 우도 상한을 제공하는가?

주요 결과

• VAEs는 데이터셋과 잠재 크기에 대해 한계 잠재 포스트eriors q(z)가 prior p(z)와 매칭되는 데 실패한다.
• 강력한 명시적 포스트eriors(예: RNVP)가 VAE의 한계 분포 매칭을 개선하지 않는다.
• VAE-GAN 하이브라드에서 밀도 비율 트릭을 사용하면 KL 상한을 과소평가하게 되어 모델 평가에 해를 끼친다.
• 잠재 공간의 한계 분포 매칭은 서로 다른 잠재 표현을 초래하며, AAEs는 VAEs보다 더 조밀한 표현을 학습한다.
• 가시 공간의 한계 분포 매칭은 생성 품질을 향상시킬 수 있지만 샘플 품질 지표에서 순수 GAN을 능가하지 못한다.
• VAE-GAN 하이브리드는 확장성과 하이퍼파라미터 민감도 문제에 직면하며 샘플 품질 면에서 GAN을 명확하게 능가하지 않는다.