[논문 리뷰] Ladder Variational Autoencoders

Casper Kaae Sønderby, Tapani Raiko외 3명|arXiv (Cornell University)|2016. 02. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 216

한 줄 요약

이 논문은 상향식, 데이터에 의존하는 보정을 추론 과정에 통합함으로써 변분 추론을 향상시키는 딥 생성 모델인 Ladder Variational Autoencoder (LVAE)를 제안한다. 추론 모델과 생성 모델 간에 공유 파라미터를 사용한다. 이로 인해 상당히 날카운 likelihood 경계를 확보하고, MNIST, OMNIGLOT, NORB에서 최신 기준 수준의 log-likelihood 성능을 달성한다. 또한 표준 VAE보다 더 깊고 더 분산된 계층적 표현을 학습한다.

ABSTRACT

Variational Autoencoders are powerful models for unsupervised learning. However deep models with several layers of dependent stochastic variables are difficult to train which limits the improvements obtained using these highly expressive models. We propose a new inference model, the Ladder Variational Autoencoder, that recursively corrects the generative distribution by a data dependent approximate likelihood in a process resembling the recently proposed Ladder Network. We show that this model provides state of the art predictive log-likelihood and tighter log-likelihood lower bound compared to the purely bottom-up inference in layered Variational Autoencoders and other generative models. We provide a detailed analysis of the learned hierarchical latent representation and show that our new inference model is qualitatively different and utilizes a deeper more distributed hierarchy of latent variables. Finally, we observe that batch normalization and deterministic warm-up (gradually turning on the KL-term) are crucial for training variational models with many stochastic layers.

연구 동기 및 목표

• 다중 스토케스틱 레이어를 가진 딥 변분 오토에인드어의 훈련과 성능 향상.
• 순수하게 하향식 추론이 어려운 VAE의 한계를 해결함으로써 깊은 계층적 구조를 효과적으로 활용할 수 있도록 함.
• 상향식 피드백을 가진 구조적 추론이 생성 모델링과 표현 학습에 어떻게 기여하는지 조사함.
• 배치 정규화와 결정적 웜업의 영향을 딥 스토케스틱 모델의 훈련에 평가함.

제안 방법

• 데이터에 의존하는 가능도 추정치를 사용해 생성 분포를 상향식, 정밀도 가중 보정하는 새로운 추론 모델인 Ladder VAE (LVAE)를 제안.
• 각 레이어의 사후분포를 하향식 가능도와 상향식 사전분포를 조합하여 계산하는 재귀적 추론 메커니즘을 도입하며, 생성 모델과 공유된 파라미터를 사용.
• 가우스 잠재 변수를 통해 스토케스틱 백프로파게이션을 위한 재구성 기법을 적용하고, 가능할 경우 KL 발산을 해석적으로 계산.
• 각 잠재 레이어가 다음 레이어에 의존하는 계층적 사전분포 구조를 사용하여 깊고 구조적인 표현을 가능하게 함.
• 딥 스토케스틱 모델의 훈련을 안정화시키기 위해 배치 정규화와 결정적 웜업 스케줄을 적용.
• 더 날카운 가능도 추정을 위해 중요도 가중치를 사용한 변분 하한을 사용.

실험 결과

연구 질문

• RQ1 상향식 피드백을 가진 구조적 추론 모델이 딥 VAE의 생성 성능을 향상시킬 수 있는가?
• RQ2 LVAE의 추론 메커니즘은 순수하게 하향식 VAE 추론과 비교해 log-likelihood와 표현 품질 측면에서 어떻게 다를까?
• RQ3 배치 정규화와 웜업의 영향은 딥 VAE와 LVAE의 훈련에 어떤 영향을 미치는가?
• RQ4 LVAE는 표준 VAE보다 더 깊고 더 분산된 계층적 표현을 학습하는가?
• RQ5 정규화 플로우나 보조 네트워크와 같은 복잡한 추론 아키텍처 없이 LVAE가 최신 기준 성능을 달성할 수 있는가?

주요 결과

• MNIST에서 LVAE는 테스트 세트 log-likelihood를 −85.81로 기록하여 표준 VAE를 크게 앞서며, IWAE나 정규화 플로우를 사용한 더 복잡한 모델들과도 맞먹거나 뛰어난 성능을 보였다.
• OMNIGLOT에서 LVAE는 테스트 log-likelihood를 −102.11로 기록하여, 50개의 중요도 샘플을 사용한 더 복잡한 모델의 이전 최고 기록인 −103.38을 초월했다.
• LVAE는 더 깊고 더 분산된 잠재 표현을 학습한다: 모든 다섯 개의 레이어가 활성화되어 있으며, KL 발산이 VAE와 달리 레이어 간에 균형 있게 분포되어 있다. VAE는 고위 레이어가 붕괴되는 경향이 있다.
• 배치 정규화와 결정적 웜업은 깊은 스토케스틱 모델의 훈련에 매우 중요하며, 웜업 덕분에 더 많은 활성화 유닛이 유지되고 조기 붕괴를 방지한다.
• PCA 시각화 결과, LVAE는 상위 잠재 레이어에서도 구조적이고 클래스 구분 가능한 표현을 유지하지만, VAE는 고위 레이어가 사전분포로 붕괴된다.
• LVAE는 표준 VAE보다 진짜 log-likelihood에 더 날카운 경계를 제공함으로써 진짜 사후분포를 더 잘 근사하고 있음을 시사한다.