[논문 리뷰] Spherical Latent Spaces for Stable Variational Autoencoders

Jiacheng Xu, Greg Durrett|arXiv (Cornell University)|2018. 08. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 31

한 줄 요약

이 논문은 텍스트를 위한 변분 오토인코더(VAE)에서 잠재 공간에 다변수 정규분포 대신 von Mises-Fisher(vMF) 분포를 사용함으로써, 농도 매개변수 𝜅를 통해 고정된 KL 발산을 가능하게 하여, KL 붕괴를 방지하고, 우도 성능을 향상시키며, RNN 언어 모델링 및 백오브워즈 문서 모델링 작업 전반에 걸쳐 더 효과적이고 구조화된 잠재 표현을 얻는다.

ABSTRACT

A hallmark of variational autoencoders (VAEs) for text processing is their combination of powerful encoder-decoder models, such as LSTMs, with simple latent distributions, typically multivariate Gaussians. These models pose a difficult optimization problem: there is an especially bad local optimum where the variational posterior always equals the prior and the model does not use the latent variable at all, a kind of "collapse" which is encouraged by the KL divergence term of the objective. In this work, we experiment with another choice of latent distribution, namely the von Mises-Fisher (vMF) distribution, which places mass on the surface of the unit hypersphere. With this choice of prior and posterior, the KL divergence term now only depends on the variance of the vMF distribution, giving us the ability to treat it as a fixed hyperparameter. We show that doing so not only averts the KL collapse, but consistently gives better likelihoods than Gaussians across a range of modeling conditions, including recurrent language modeling and bag-of-words document modeling. An analysis of the properties of our vMF representations shows that they learn richer and more nuanced structures in their latent representations than their Gaussian counterparts.

연구 동기 및 목표

• 잠재 변수가 사용되지 않는 등 지속적인 KL 붕괴 문제를 해결함: 즉, 사후분포가 사전분포로 붕괴됨.
• 표준 VAE 최적화의 취약성을 극복하기 위해 vMF 사전분포를 통해 KL 발산을 고정된 하이퍼파라미터로 구조화함.
• 안정적인 훈련을 유지하면서도 잠재 코드의 더 효과적인 사용을 가능하게 하여 텍스트의 생성 모델링 성능을 향상함.
• vMF 기반의 잠재 공간이 가우시안 대비 더 풍부한 구조적 정보—특히 어순—을 포착하는지 조사함.
• 고정된 𝜅 값이 다양한 NLP 모델링 설정 간에 더 강건하고 이식 가능한 성능을 제공하는지 입증함.

제안 방법

• 표준 다변수 정규분포 사전분포를 단위 초구면 상의 von Mises-Fisher(vMF) 분포로 대체함. 이는 평균 방향 𝝁와 농도 𝜅로 매개변수화됨.
• 농도 매개변수 𝜅를 하이퍼파라미터로 고정함으로써, 사후분포와 사전분포 간의 KL 발산이 인코더 출력에 의존하지 않게 하여, 붕괴에 구조적으로 면역화함.
• 인식 모델(인코더)을 사용해 posterior qϕ(z|x)를 학습된 평균 방향과 고정된 𝜅를 가진 vMF 분포로 추론함.
• vMF KL 발산을 미분 가능하게 하기 위해 수정된 Bessel 함수를 활용하여, 표준 VAE 목표(ELBO)를 통해 모델을 엔드 투 엔드로 훈련함.
• RNN 기반 언어 모델링과 백오브워즈 문서 모델링 두 가지 작업에 vMF VAE를 적용함. 표준 및 입력이 없는 아키텍처 모두 사용함.
• 보류된 우도와 퍼플렉서티를 사용해 성능을 평가하고, 어순에 대한 민감도 등 구조적 민감도를 분석하기 위해 잠재 표현을 분석함.

실험 결과

연구 질문

• RQ1 vMF 사전분포에서 농도 매개변수 𝜅를 고정함으로써, 잠재 변수가 사용되지 않는 텍스트 VAE에서 KL 붕괴를 방지할 수 있는가?
• RQ2 vMF 사전분포를 사용할 경우, 다양한 텍스트 모델링 작업 및 아키텍처에서 가우시안 VAE보다 일관되게 더 좋은 우도를 달성하는가?
• RQ3 vMF 기반의 잠재 표현은 가우시안 표현에 비해 단어 어순과 같은 미세한 언어적 구조를 얼마나 잘 포착하는가?
• RQ4 vMF VAE의 성능은 𝜅의 하이퍼파라미터 설정에 대해 강건한가? 최적의 값들은 다양한 모델링 설정 간에 이식 가능한가?
• RQ5 𝜅를 엔드 투 엔드로 학습하면 다시 KL 붕괴 문제가 재발하는가, 아니면 𝜅를 고정하는 것이 여전히 더 우수한 최적화 전략인가?

주요 결과

• vMF 사전분포에서 농도 매개변수 𝜅를 고정함으로써, KL 붕괴가 완전히 방지됨. KL 발산은 인코더 출력과 무관한 고정된 하이퍼파라미터가 됨.
• RNN 언어 모델링 및 백오브워즈 문서 모델링 작업 전반에서 vMF VAE는 가우시안 VAE보다 유의미하게 높은 보류된 우도와 낮은 퍼플렉서티를 달성함.
• 고정된 𝜅를 사용한 모델은 더 높은 KL 발산 값에도 불구하고 더 높은 우도를 기록함으로써, 잠재 코드의 더 효과적인 활용을 보여줌.
• 10에서 100에 이르는 넓은 범위의 고정된 𝜅 값이 강력한 성능을 내며, 유사한 작업(예: 표준 대비 입력이 없는 설정) 간에 최적의 값들이 이식 가능함.
• 𝜅를 엔드 투 엔드로 학습하면 다시 KL 붕괴 문제가 재발함. 목적함수는 낮은 𝜅 값을 선호하므로 클리핑이 필요하고, 고정된 𝜅보다 성능이 열등함.
• 분석 결과 vMF 표현은 가우시안 표현보다 어순에 더 민감하며 더 풍부한 구조적 정보를 포착함. 이는 순차적 데이터에 더 우수한 인덕티브 바이어스를 제공함을 시사함.