[논문 리뷰] Tutorial: Deriving the Standard Variational Autoencoder (VAE) Loss Function

Stephen G. Odaibo|arXiv (Cornell University)|2019. 07. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 47

한 줄 요약

이 논문은 VAE 손실의 단계별 도출을 제시하고, 변분 하한(ELBO)과 가우시안 잠재변수의 해를 도출하며, 베이즈 정리와 KL 발산의 기초를 포함한다.

ABSTRACT

In Bayesian machine learning, the posterior distribution is typically computationally intractable, hence variational inference is often required. In this approach, an evidence lower bound on the log likelihood of data is maximized during training. Variational Autoencoders (VAE) are one important example where variational inference is utilized. In this tutorial, we derive the variational lower bound loss function of the standard variational autoencoder. We do so in the instance of a gaussian latent prior and gaussian approximate posterior, under which assumptions the Kullback-Leibler term in the variational lower bound has a closed form solution. We derive essentially everything we use along the way; everything from Bayes' theorem to the Kullback-Leibler divergence.

연구 동기 및 목표

• 베이지안 학습에서 변분 추론이 왜 사용되는지와 posterior의 계산 불가능성이 VAEs를 어떻게 동기 부여하는지 설명한다.
• 베이즈 정리와 KL 발산의 성질을 적용하여 VAE의 변분 하한(ELBO)을 도출한다.
• 가우시안 형태의 잠재 사전분포(p(z))와 사후(q_theta(z|x))를 가정하면 KL 항이 해를 가지는 것을 보여주고, 표준 VAE 손실로 이끈다.
• 최종 손실 함수 형식과 재구성 항 및 정규화 항과의 연관성을 제시한다.

제안 방법

• 잠재 변수 모델에 대한 베이즈 정리와 ELBO를 도출한다.
• ELBO를 KL 발산 항과 재구성 항의 합으로 표현한다.
• p(z)와 q_theta(z|x)의 가우시안 형태를 가정하여 해를 가지는 KL 항을 얻는다.
• 가우시안 가정 하에서 -D_KL(q_theta(z|x)||p(z))의 해를 계산하고 계산 가능하도록 간소화한다.
• 최종 목표를 ELBO의 최대화로 공식화한 다음, 학습을 위해 부정으로 변환하여 표준 VAE 손실을 얻는다.

실험 결과

연구 질문

• RQ1 VAEs에서 계산 불가능한 후방분포를 가진 생성 모델을 학습시키기 위해 변분 추론을 어떻게 적용할 수 있는가?
• RQ2 잠재 변수가 가우시안일 때 KL 항의 해는 무엇이며, 이것이 VAE 손실에 어떻게 반영되는가?
• RQ3 베이즈 정리와 KL 발산을 사용하여 VAE 최적화에 적합한 ELBO를 어떻게 도출할 수 있는가?
• RQ4 실무자들이 VAE 학습 중에 최소화하는 최종 손실 공식은 무엇인가?

주요 결과

• ELBO는 로그 가능도를 KL 규제항과 재구성 항을 통해 상한으로 제공하는 계산 가능한 목표를 제공한다.
• 가우시안 사전분포와 포스트리어로 가정하에 KL 항은 해를 가지며, 이를 통해 해가 있는 VAE 손실을 가능하게 한다.
• 손실은 디코더 우도에서 도출된 재구성 손실과 KL 기반 규제 항의 조합이다.
• ELBO를 최대화하거나 음의 ELBO를 최소화하는 것이 인코더와 디코더 파라미터의 학습 목표를 제시한다.
• 최종 제시된 손실은 잠재 차원에 대한 합으로 분해되며, 확률적 최적화를 위한 재매개화 기반 샘플링 구성요소를 포함한다.