[논문 리뷰] Learnable Explicit Density for Continuous Latent Space and Variational Inference

Chin-Wei Huang, Abdelaziz Touati외 5명|arXiv (Cornell University)|2017. 10. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 19

한 줄 요약

이 논문은 역자기회귀 흐름(inverse autoregressive flows, inverse AF)를 사용하여 사전 분포와 사후 분포를 모두 유연하게 만들면서, 변분 오토에인코더(VAE)에 대해 학습 가능한 명시적 밀도를 제안한다. 학습된 사전 분포가 보다 잘 맞는 주변 근사 사후 분포를 반영함으로써 샘플 품질 향상과 추론 성능 향상을 보이며, 이론적으로 inverse AF가 복잡한 사후 분포를 보편적으로 근사할 수 있음을 정당화한다. MNIST 및 토이 혼합분포에서 기존의 고정된 가우시안 사전 분포보다 우수한 성능을 보인다.

ABSTRACT

In this paper, we study two aspects of the variational autoencoder (VAE): the prior distribution over the latent variables and its corresponding posterior. First, we decompose the learning of VAEs into layerwise density estimation, and argue that having a flexible prior is beneficial to both sample generation and inference. Second, we analyze the family of inverse autoregressive flows (inverse AF) and show that with further improvement, inverse AF could be used as universal approximation to any complicated posterior. Our analysis results in a unified approach to parameterizing a VAE, without the need to restrict ourselves to use factorial Gaussians in the latent real space.

연구 동기 및 목표

• 고정된 인과 가우시안이 아닌 학습 가능한 사전 분포를 사용하여 변분 오토에인코더(VAE) 성능을 향상시키는 것.
• 엔트로피 과대추정과 사전-사후 분포 불일치로 인한 VAE의 낮은 샘플 품질 문제를 해결하는 것.
• 역자기회귀 흐름(inverse autoregressive flows, inverse AF)이 복잡한 사후 분포를 보편적으로 근사할 수 있음을 이론적으로 정당화하는 것.
• 역가역 정규화 흐름을 사용하여 VAE에서 사전과 사후 모델링을 통합함으로써 잠재 공간 분포에 대한 제한적인 가정을 피하는 것.
• 유연한 사전 분포가 훈련 안정성과 가능도 성능에서 유연한 사후 분포보다 뛰어나다는 경험적 증명을 제시하는 것.

제안 방법

• VAE 훈련을 계층별 밀도 추정으로 분해하여 주변 근사 사후 분포를 사전 분포의 목표로 삼는다.
• 특히 역가역 흐름(inverse AF)을 사용하여 사전과 사후를 모두 매개변수화함으로써 명시적 밀도 추정을 가능하게 한다.
• NVP 스타일의 결합층을 사용한 정규화 흐름을 통해 사전 분포를 학습시키며, 데이터 다양체에 적응할 수 있도록 한다.
• 병렬 처리가 가능한 민감한 밀도 추정을 위해 사후 분포는 MADE 또는 PixelCNN 스타일의 자기회귀 구조를 갖는 inverse AF로 모델링한다.
• 에너지 하한을 최적화하기 위해 인코더, 디코더, 흐름 기반 사전/사후를 함께 훈련시키며, 근사 사후와 진짜 사후 간의 KL 발산을 최소화한다.
• 고정된 인과 가우시안 대신 학습 가능한, 민감한 밀도로 잠재 공간의 분포를 대체함으로써 제한적인 가정을 피한다.

실험 결과

연구 질문

• RQ1 고정된 사전 분포 대비 학습 가능한 사전 분포를 사용할 경우, VAE에서 샘플 생성 및 추론 품질 향상이 이루어지는가?
• RQ2 역자기회귀 흐름(inverse AF)을 사용할 경우, 복잡한 사후 분포를 보편적으로 근사할 수 있는가?
• RQ3 왜 유연한 사전 분포를 사용하는 모델이 유연한 사후 분포를 사용하는 모델보다 더 안정적인 훈련과 더 높은 가능도 성능을 달성하는가?
• RQ4 주변 근사 사후 분포와 일치하는 학습 가능한 사전 분포를 사용하면 엔트로피 과대추정이 감소하고 데이터 분포 모델링이 향상되는가?
• RQ5 가능도 및 샘플 품질 향상에 있어 사전 유연성과 사후 유연성 중 어느 것이 더 큰 기여를 하는가?

주요 결과

• MNIST에서 학습 가능한 사전 분포를 사용하는 모델은 탄력적인 사후 분포를 사용하는 모델보다 우수하며, 사전 분포에 16개의 NVP 층과 사후 분포에 16개의 MADE 층을 사용할 경우 음의 로그 가능도(NLL)가 80.81을 기록한다.
• 사전 분포에 8개의 NVP 층과 사후 분포에 8개의 MADE 층을 사용하면 기준 모델의 NLL 83.11에서 80.81로 감소하여 가능도 향상이 뚜렷하게 나타난다.
• 유연한 사전 분포만으로도 NLL가 90.78에서 88.70으로 감소하며, 사후 분포의 유연성 없이도 사전 분포 학습이 성능 향상에 기여함을 보여준다.
• inverse AF를 사후 근사 도구로 사용하면 복잡한 사후 분포를 보편적으로 근사할 수 있으며, 이는 VAE에서 inverse AF의 사용을 정당화한다.
• 학습 가능한 사전 분포를 사용하면 진짜 사후와의 주변 사후 일치도 향상되어 진짜 사후와 변분 근사 간의 격차가 감소한다.
• 정규화 흐름 기반 VAE 중에서 MNIST에서 최고 성능을 기록하며, 사전 분포에 16개의 NVP 층과 사후 분포에 16개의 MADE 층을 사용할 경우 최종 NLL가 80.60에 이른다.