[논문 리뷰] Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse

James Lucas, George Tucker외 2명|arXiv (Cornell University)|2019. 11. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 18

한 줄 요약

이 논문은 선형 VAE를 분석함으로써 일반적으로 ELBO 목적함수가 VAE에서 사후 붕괴를 유발한다는 공통된 믿음을 도전한다. 선형 VAE는 정확히 pPCA 해를 복원함을 보이며, ELBO가 로그 주변우도 최적화에서 초과하는 임의의 가짜 국소 최대값을 도입하지 않음을 증명한다. 관측 노이즈가 붕괴된 해를 벗어나는 데 핵심적인 역할을 한다는 통찰은 비선형 VAE에도 확장된다.

ABSTRACT

Posterior collapse in Variational Autoencoders (VAEs) arises when the variational posterior distribution closely matches the prior for a subset of latent variables. This paper presents a simple and intuitive explanation for posterior collapse through the analysis of linear VAEs and their direct correspondence with Probabilistic PCA (pPCA). We explain how posterior collapse may occur in pPCA due to local maxima in the log marginal likelihood. Unexpectedly, we prove that the ELBO objective for the linear VAE does not introduce additional spurious local maxima relative to log marginal likelihood. We show further that training a linear VAE with exact variational inference recovers an identifiable global maximum corresponding to the principal component directions. Empirically, we find that our linear analysis is predictive even for high-capacity, non-linear VAEs and helps explain the relationship between the observation noise, local maxima, and posterior collapse in deep Gaussian VAEs.

연구 동기 및 목표

• VAE에서 ELBO 목적함수가 사후 붕괴를 유발한다는 광범위한 가정을 도전하는 것.
• 사후 붕괴의 근본 원인을 이해하기 위해 분석이 가능한 선형 VAE를 연구하는 것.
• ELBO가 붕괴된 사후를 유도하는 임의의 가짜 국소 최대값을 도입하는지 조사하는 것.
• 관측 노이즈가 VAE 학습 중 비최적의 해를 벗어나는 데 어떤 역할을 하는지 규명하는 것.
• 선형 모델에서의 통찰을 고성능 비선형 VAE로 확장하는 것.

제안 방법

• 대각행렬 변분 사후를 가진 선형 VAE를 분석하여 확률적 주성분 분석(pPCA)과 직접적인 대응 관계를 설정한다.
• 선형 VAE에서 ELBO의 전역 최적해가 진정한 주성분을 복원함을 증명한다. 이는 단지 부분공간만 복원하는 것이 아니라 정확한 방향까지 복원한다.
• 선형 VAE의 ELBO 목표함수는 로그 주변우도 최적화와 비교해 추가적인 가짜 국소 최대값이 없음을 보여준다.
• pPCA 정류점의 이론적 분석을 통해 관측 노이즈 분산과 붕괴된 해의 안정성 간의 관계를 규명한다.
• MNIST와 CelebA 데이터셋에서 딥 가우시안 VAE를 실험적으로 평가하며 관측 노이즈를 변화시키고 KL 수렴도를 측정하여 사후 붕괴를 분석한다.
• KL-냉각 기법을 적용하고 학습 과정에서 잠재 차원 붕괴를 추적하여 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 ELBO 목표함수는 선형 VAE에서 사후 붕괴를 유도하는 가짜 국소 최대값을 도입하는가?
• RQ2 선형 VAE는 정확한 주성분 방향을 복원할 수 있으며, 이는 ELBO 기준으로 전역 최적해인가?
• RQ3 관측 노이즈는 사후 붕괴에 대응하는 국소 최대값의 안정성에 어떤 영향을 미치는가?
• RQ4 선형 VAE에서의 통찰은 고성능 비선형 VAE로 일반화되는가?
• RQ5 관측 노이즈를 제어함으로써 딥 VAE에서 붕괴된 해를 벗어날 수 있는가?

주요 결과

• 선형 VAE의 ELBO는 로그 주변우도 최적화에서 초과하는 임의의 가짜 국소 최대값을 도입하지 않는다.
• 선형 VAE ELBO의 전역 최적해는 정확한 주성분 방향을 복원한다. 부분공간을 넘어서 정확한 방향까지 복원된다.
• pPCA에서의 사후 붕괴는 ELBO 목적함수 때문이 아니라 로그 주변우도 최적화에서 발생하는 국소 최대값 때문임을 규명했다.
• 관측 노이즈는 붕괴된 해를 벗어나는 데 핵심적인 역할을 하며, 노이즈를 줄이면 비최적의 국소 최대값에서 벗어나는 데 도움이 된다.
• 딥 가우시안 VAE에서의 실험 결과는 낮은 관측 노이즈일수록 사후 붕괴가 감소함을 보여준다.
• CelebA에서 관측 노이즈를 0.001로 고정한 경우 사후 붕괴는 평균 2680.2%에 이르렀지만, 노이즈를 조정함으로써 붕괴는 483.8%로 감소시킬 수 있었다.