[논문 리뷰] On the Necessity and Effectiveness of Learning the Prior of Variational Auto-Encoder

Haowen Xu, Wenxiao Chen외 4명|arXiv (Cornell University)|2019. 05. 31.

Neural Networks and Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 집합된 사후분포가 단위 가우시안과 일치하지 않을 경우 변분 오토인코더(VAEs)에서 사전분포를 학습하는 것이 필수적이고 효과적임을 증명한다. 실 NVP 기반의 학습된 사전분포를 제안하여 재구성 오차와 테스트 음의 로그우도(NLL)를 향상시킨다. 놀랍게도, 단일 잠재변수와 학습된 사전분포를 사용할 경우, 깊은 계층적 VAE보다도 우수한 NLL 성능을 달성한다.

ABSTRACT

Using powerful posterior distributions is a popular approach to achieving better variational inference. However, recent works showed that the aggregated posterior may fail to match unit Gaussian prior, thus learning the prior becomes an alternative way to improve the lower-bound. In this paper, for the first time in the literature, we prove the necessity and effectiveness of learning the prior when aggregated posterior does not match unit Gaussian prior, analyze why this situation may happen, and propose a hypothesis that learning the prior may improve reconstruction loss, all of which are supported by our extensive experiment results. We show that using learned Real NVP prior and just one latent variable in VAE, we can achieve test NLL comparable to very deep state-of-the-art hierarchical VAE, outperforming many previous works with complex hierarchical VAE architectures.

연구 동기 및 목표

• 집합된 사후분포가 단위 가우시안 사전분포와 일치하지 않을 경우 VAE에서 사전분포를 학습하는 것이 필수적이고 효과적임을 공식적으로 증명하는 것.
• 집합된 사후분포가 단위 가우시안 사전분포와 일치하지 않는 이유를 분석하여, 분포 불일치가 근본 원인임을 규명하는 것.
• 사전분포 학습이 재구성 오차를 감소시키고, 특히 저사후분포 샘플에서 샘플 품질을 향상시킬 수 있음을 보여주는 것.
• 단일 잠재변수와 학습된 실 NVP 사전분포를 가진 단순한 VAE가 깊은 계층적 VAE의 성능을 재현하거나 초월할 수 있음을 보여주는 것.
• 학습된 사전분포가 낮은 품질의 보간 및 저사후분포 샘플에 대해 높은 우도를 부여하지 않음을 검증하는 것.

제안 방법

• 유연한 비가우시안 사전분포를 가능하게 하는 실 NVP 기반 정규화 플로를 제안하여 사전분포를 학습하는 방법.
• 에ncoder와 디코더와 함께 사전분포를 종합적으로 최적화하는 동시 학습 기반의 설계를 도입하여 ELBO 최적화를 향상시키는 것.
• 학습된 사전분포를 포함한 ELBO에 대한 몬테카를로 추정기를 사용하여 기울기 기반 최적화를 가능하게 하는 것.
• 재학습 없이도 기존 모델에 대한 학습된 사전분포의 영향을 평가하기 위해 사후적 사전분포 적응 방법을 적용하는 것.
• 기존 연구에서 제안한 저사후분포 샘플 탐지 알고리즘을 활용하여 학습된 사전분포가 문제적 잠재코드에 대해 낮은 우도를 할당하는지 평가하는 것.
• 네 가지 다른 아키텍처를 사용하여 네 가지 바이너리 데이터셋에서 광범위한 추상화 실험을 수행하여 일반화 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 집합된 사후분포가 단위 가우시안 사전분포와 일치하지 않을 경우 사전분포 학습이 필수적이고 효과적인가?
• RQ2 집합된 사후분포가 왜 단위 가우시안 사전분포와 일치하지 못하는가? 이러한 분포 불일치의 원인은 무엇인가?
• RQ3 사전분포 학습이 재구성 오차를 감소시키고, 특히 저사후분포 샘플에서 샘플 품질을 향상시킬 수 있는가?
• RQ4 단일 잠재변수와 학습된 실 NVP 사전분포를 가진 단순한 VAE가 깊은 계층적 VAE의 성능을 재현하거나 초월할 수 있는가?
• RQ5 학습된 사전분포가 잠재공간 내 낮은 품질의 보간 및 저사후분포 샘플에 대해 높은 우도를 부여하지 않는가?

주요 결과

• 실 NVP 사전분포를 사용할 경우 단일 잠재변수만으로도 바이너리 MNIST, EMNIST, Fashion-MNIST에서 최신 기술 수준의 깊은 계층적 VAE와 유사한 테스트 음의 로그우도(NLL) 성능을 달성한다.
• 학습된 사전분포는 저사후분포 샘플에 대해 할당하는 우도를 크게 감소시켜 문제적 잠재코드에 대해 높은 점수를 부여하지 않는다.
• 실 NVP 사전분포를 통합한 동시 학습 VAE는 모든 데이터셋과 아키텍처에서 표준 VAE와 실 NVP 사후분포를 가진 VAE보다 우수한 성능을 보인다.
• 사후적 학습된 사전분포는 저사후분포 샘플의 로그-사전우도를 단위 가우시안 사전분포 대비 최대 10배까지 감소시켜 더 나은 일반화 능력을 보여준다.
• 이 방법은 잠재공간 내 낮은 품질의 보간에 대해 높은 우도를 할당하지 않아 샘플 품질과 견고성을 향상시킨다.
• 플로우 깊이가 증가함에 따라 학습 시간이 증가하지만 K=50를 초과하면 포화 상태에 도달하여 K=20가 성능과 효율성의 실용적 균형임을 시사한다.