[논문 리뷰] A Tutorial on VAEs: From Bayes' Rule to Lossless Compression

Ronald Yu|arXiv (Cornell University)|2020. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 14

한 줄 요약

이 튜토리얼은 베이지안 원리와 정보이론에서 유도한 변분 오토인코더(VAE)의 종합적인 유도를 제공하며, 베이즈의 정리, 중요도 샘플링, 손실 없는 압축을 통해 그 목적을 명확히 한다. MSE 손실로 훈련하거나 잠재 벡터를 매개변수로 간주하는 등의 주요 오해를 밝히며, 2차원 토이 예제를 통해 VAE가 복잡한 분포를 모델링할 수 있지만, ELBO의 저변동성 사후분포를 향한 편향으로 인해 효율적인 잠재공간 커버리지에 어려움을 겪을 수 있음을 보여준다.

ABSTRACT

The Variational Auto-Encoder (VAE) is a simple, efficient, and popular deep maximum likelihood model. Though usage of VAEs is widespread, the derivation of the VAE is not as widely understood. In this tutorial, we will provide an overview of the VAE and a tour through various derivations and interpretations of the VAE objective. From a probabilistic standpoint, we will examine the VAE through the lens of Bayes' Rule, importance sampling, and the change-of-variables formula. From an information theoretic standpoint, we will examine the VAE through the lens of lossless compression and transmission through a noisy channel. We will then identify two common misconceptions over the VAE formulation and their practical consequences. Finally, we will visualize the capabilities and limitations of VAEs using a code example (with an accompanying Jupyter notebook) on toy 2D data.

연구 동기 및 목표

• VAE의 확률론적 및 정보이론적 기초를 명확히 하여 실무에서 흔히 발생하는 오해를 넘어서는 것.
• 베이지안 추론, 중요도 샘플링, 변수변환을 통한 여러 유도 방법을 통해 VAE 목적함수를 설명하는 것.
• 손실 없는 압축과 노이즈 있는 채널 전송의 관점에서 VAE를 재해석하여 정보이론과 연결하는 것.
• 두 가지 널리 퍼진 오해를 식별하고 수정하는 것: VAE 훈련에 MSE 손실을 사용하는 것과 잠재 벡터를 매개변수로 간주하는 것.
• Jupyter 노트북을 활용한 가시화 가능한 2차원 데이터 예제를 통해 VAE의 능력과 한계를 실증적으로 보여주는 것.

제안 방법

• 베이즈의 정리로 VAE 목적함수를 유도하며, 사후분포 근사에서 증거 하한(ELBO)이 어떻게 유도되는지 보여준다.
• 중요도 샘플링을 적용하여 로그우도 추정을 향상시키고, 훈련 목적함수의 편향을 줄인다.
• 변수변환 공식을 사용하여 기울기 추정을 위한 재생산 기법(재편집 기법)을 수학적으로 정의한다.
• VAE를 손실 없는 압축 시스템으로 재해석하며, 인코더가 데이터를 압축하고 디코더가 최소한의 정보 손실로 재구성하는 방식을 설명한다.
• VAE를 노이즈 있는 채널로 모델링하며, 잠재변수가 확률적 브로드캐스트 역할을 하여 레이트-왜곡 이론과 연결한다.
• 다중 모달 분포를 가진 2차원 토이 데이터셋을 활용하여 VAE의 잠재공간, 밀도 추정 및 재구성 행동을 시각화한다.

실험 결과

연구 질문

• RQ1 VAE 목적함수는 베이지안 추론과 증거 하한(ELBO)에서 어떻게 유도되는가?
• RQ2 손실 없는 압축과 노이즈 있는 채널 전송의 관점에서 VAE는 어떻게 해석될 수 있는가?
• RQ3 표준 VAE 목적함수는 왜 잠재공간의 저확률 영역 탐색을 억제하는가?
• RQ4 VAE를 MSE 손실로 훈련할 수 있다는 오해의 실질적 결과는 무엇인가?
• RQ5 중요도 가중 평균 오토인코더(IWAE)는 로그우도 추정 및 잠재공간 커버리지 측면에서 표준 VAE보다 어떻게 향상되는가?

주요 결과

• VAE에서의 음의 ELBO 목적함수는 후행분포의 분산이 감소함에 따라 잠재공간의 저확률 영역 탐색을 억제하는 편향을 유도한다.
• 중요도 샘플링을 사용해 로그우도를 근사하면 표준 ELBO에 비해 진짜 로그우도에 더 가까운 타ight한 경계를 제공하므로, 더 나은 밀도 추정이 가능하다.
• 10개의 중요도 샘플을 사용한 IWAE는 반복당 효과적인 데이터가 반으로 줄어든 상태에서도 표준 VAE보다 유의미하게 더 낮은 음의 로그우도 점수를 기록한다.
• 후행분포의 분산이 감소함에 따라 VAE의 잠재공간 확장 속도가 느려지며, 수렴 지연 또는 고확률 데이터 영역의 완전한 커버리지 실패를 초래할 수 있다.
• VAE를 MSE 손실로 훈련할 수 있다는 오해는 모델의 확률론적 성격에 대한 잘못된 가정을 초래할 수 있으며, 결과적으로 흐릿한 재구성 이미지가 발생할 수 있다.
• 이론적으로 이상적인 조건(예: 완전히 분리된 잠재변수 또는 고차원 이산 데이터)에서는 완벽한 모델링이 가능할 수 있지만, 실제로 기울기 하강법로는 이러한 해법을 학습하기가 어렵다.