[논문 리뷰] How to Train Deep Variational Autoencoders and Probabilistic Ladder Networks

Casper Kaae Sønderby, Tapani Raiko외 3명|arXiv (Cornell University)|2016. 02. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 79

한 줄 요약

이 논문은 래퍼런스 구조를 가진 추론 네트워크, 웜업 스케줄, 배치 정규화를 포함한 세 가지 훈련 개선 기법을 제안하여 최대 다섯 개의 확률적 레이어를 가진 깊은 변분 오토에인드를 가능하게 한다. 이러한 발전은 기준 데이터셋에서 최신 기술 수준의 로그우도 성능을 달성하며, 이전의 얕은 모델을 훨씬 초월한 생성 모델링 능력을 향상시킨다.

ABSTRACT

Variational autoencoders are a powerful framework for unsupervised learning. However, previous work has been restricted to shallow models with one or two layers of fully factorized stochastic latent variables, limiting the flexibility of the latent representation. We propose three advances in training algorithms of variational autoencoders, for the first time allowing to train deep models of up to five stochastic layers, (1) using a structure similar to the Ladder network as the inference model, (2) warm-up period to support stochastic units staying active in early training, and (3) use of batch normalization. Using these improvements we show state-of-the-art log-likelihood results for generative modeling on several benchmark datasets.

연구 동기 및 목표

• 단일 또는 이중 확률적 잠재 변수 레이어를 가진 얕은 변분 오토에인드의 한계를 극복하기 위해.
• 표현력의 유연성을 향상시키기 위해 최대 다섯 개의 확률적 레이어를 가진 깊은 생성 모델의 훈련을 가능하게 하기 위해.
• 개선된 추론 및 최적화 전략을 통해 깊은 확률적 아키텍처에서의 훈련 불안정성과 열악한 수렴 문제를 해결하기 위해.
• 표준 기준에서 로그우도 측정치로 측정된 뛰어난 생성 모델링 성능를 달성하기 위해.

제안 방법

• 하나의 하향식 및 상향식 연결을 모두 가진 계층적 추론을 가능하게 하기 위해 추론 모델에 래퍼런스 네트워크 구조를 도입하기 위해.
• KL 분산 항의 가중치를 점진적으로 증가시켜 초기 훈련 단계에서 확률적 유닛이 활성 상태를 유지할 수 있도록 훈련 중 웜업 기간을 도입하기 위해.
• 추론 및 생성 네트워크의 히든 유닛에 배치 정규화를 적용하여 훈련을 안정화하고 최적화를 향상시키기 위해.
• 완전히 요소화된 변분 사후 분포를 사용하되, 구조화된 추론 아키텍처를 통해 그 표현력을 향상시키기 위해.
• 재구성 기반 경사 하강법을 사용하여 확률적 유닛을 통해 효율적인 역전파를 수행하기 위해 재구성 기반 경사 하강법을 사용하여 모델을 종단 간 훈련하기 위해.
• 구조화된 추론, 웜업, 배치 정규화의 조합을 통해 깊은 아키텍처의 안정적 훈련을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 표준 최적화 기법을 사용하여 다섯 개의 확률적 레이어를 가진 깊은 변분 오토에인드를 성공적으로 훈련시킬 수 있는가?
• RQ2 표준 요소화된 추론과 비교했을 때, 래퍼런스 구조를 가진 추론 네트워크는 깊은 VAE 훈련의 품질과 안정성에 어떻게 기여하는가?
• RQ3 웜업 스케줄은 깊은 VAE에서 확률적 유닛의 학습 역학에 얼마나 기여하는가?
• RQ4 배치 정규화는 깊은 확률적 오토에인드에서 훈련 안정성과 성능 향상에 뚜렷한 기여를 하는가?

주요 결과

• 제안된 훈련 알고리즘이 이전에 하나 또는 두 개의 레이어로 제한되었던 것과 비교해 다섯 개의 확률적 레이어까지 허용하는 깊은 변분 오토에인드를 성공적으로 훈련시켰다. 이는 중요한 발전이다.
• 래퍼런스 추론, 웜업, 배치 정규화의 조합은 이전에 수렴하지 못하던 깊은 모델의 안정적 훈련을 가능하게 했다.
• 여러 기준 데이터셋에서 최신 기술 수준의 로그우도 결과를 달성하여 뛰어난 생성 모델링 성능를 입증했다.
• 웜업 스케줄은 초기 훈련 단계에서 확률적 유닛의 활성화를 유지함으로써 사후 분포 붕괴를 효과적으로 방지한다.
• 배치 정규화는 특히 다수의 확률적 레이어를 가진 더 깊은 아키텍처에서 훈련 안정성과 수렴 속도를 향상시킨다.
• 래퍼런스 추론 구조는 근사 사후 분포의 표현력을 향상시켜 복잡한 데이터 분포를 더 잘 모델링할 수 있도록 한다.