[논문 리뷰] Riemannian Normalizing Flow on Variational Wasserstein Autoencoder for Text Modeling

Prince Zizhuang Wang, William Yang Wang|arXiv (Cornell University)|2019. 04. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 9

한 줄 요약

이 논문은 텍스트 모델링을 향상시키기 위해 입력 텍스트 공간의 기하적 구조를 고려하는 잠재 표현을 학습하기 위해 변분 워샤르스타인 오토에인코드러(VAE) 내에서 리만형 정규화 플로우(RNF)를 제안한다. 표준 가우시안 사전분포를 리만형 지표에 민감한 잠재 공간으로 대체함으로써, 모델은 KL 소실 문제를 피하고 대부분의 벤치마크에서 최고 수준의 퍼플렉서티를 달성하며 더 다양한 의미 있는 텍스트 샘플을 생성한다.

ABSTRACT

Recurrent Variational Autoencoder has been widely used for language modeling and text generation tasks. These models often face a difficult optimization problem, also known as the Kullback-Leibler (KL) term vanishing issue, where the posterior easily collapses to the prior, and the model will ignore latent codes in generative tasks. To address this problem, we introduce an improved Wasserstein Variational Autoencoder (WAE) with Riemannian Normalizing Flow (RNF) for text modeling. The RNF transforms a latent variable into a space that respects the geometric characteristics of input space, which makes posterior impossible to collapse to the non-informative prior. The Wasserstein objective minimizes the distance between the marginal distribution and the prior directly and therefore does not force the posterior to match the prior. Empirical experiments show that our model avoids KL vanishing over a range of datasets and has better performances in tasks such as language modeling, likelihood approximation, and text generation. Through a series of experiments and analysis over latent space, we show that our model learns latent distributions that respect latent space geometry and is able to generate sentences that are more diverse.

연구 동기 및 목표

• 텍스트 생성을 위한 순환형 VAE에서 후행분포가 사전분포로 붕괴되고 잠재 코드가 정보가 없어지는 문제인 KL 발산 소실 문제를 해결한다.
• 표준 VAE가 대각형 가우시안 사전분포를 가정하는 데서 비롯되는 한계를 극복하며, 자연어 데이터의 내재 기하적 구조를 포착하지 못한다.
• 워샤르스타인 목표를 활용해 사전분포와의 마진 분포 거리 최소화를 통해 후행 매칭에 의존도를 줄이고 KL 붕괴 문제를 완화한다.
• 입력 데이터 기하학적 구조를 존중하는 곡선형 잠재 공간으로 잠재 변수를 변환하는 새로운 리만형 정규화 플로우(RNF)를 개발한다.
• 더 정보가 풍부하고 다양한 기하학적 인식 능력을 갖춘 잠재 표현을 학습함으로써 가능도 근사(퍼플렉서티)와 텍스트 생성 품질을 모두 향상시킨다.

제안 방법

• 입력 데이터 기하학적 구조에서 유도된 리만형 지표 텐서를 고려하는 워샤르스타인 변분 오토에인코드러(WAE)에 리만형 정규화 플로우(RNF)를 통합한다.
• 리만형 지표 텐서를 사용해 입력 문장 다양체의 내재 기하적 성질을 캡처하는 곡선형 잠재 공간을 정의한다.
• 기본 분포(예: 표준 가우시안)를 복잡한 리만형 구조를 가진 후행분포로 매핑하기 위해 정규화 플로우를 적용한다.
• 후행분포와 사전분포 간의 거리를 최소화하기 위해 워샤르스타인 GAN 목표를 활용하여 강제적인 후행-사전 매칭을 피한다.
• 재구성 기반 경사 하강법을 사용해 RNF 기반 정규화 플로우를 활용한 WAE 목표를 최적화함으로써 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 잠재 코드와 입력 데이터 간의 상호정보량을 근사하기 위해 몬테카를로 추정을 사용하여 학습된 표현의 정보성 평가

실험 결과

연구 질문

• RQ1 입력 데이터의 기하적 구조를 인코딩함으로써 리만형 정규화 플로우가 VAE의 후행 붕괴 문제를 효과적으로 방지할 수 있는가?
• RQ2 RNF와 결합된 워샤르스타인 목표가 표준 VAE 및 WAE보다 더 나은 언어 모델링 성능(퍼플렉서티로 측정)을 제공하는가?
• RQ3 리만형 잠재 공간은 유사한 유럽형 잠재 공간에 비해 입력 문장과 잠재 코드 간의 상호정보량을 얼마나 잘 유지하는가?
• RQ4 RNF의 사용이 생성된 텍스트 샘플의 다양성과 의미적 품질에 어떤 영향을 미치는가?
• RQ5 제안된 RNF-WAE 모델은 표준 자연어 처리 벤치마크에서 텍스트 생성 및 가능도 근사 측면에서 최고 성능을 달성할 수 있는가?

주요 결과

• RNF-WAE 모델은 PTB 및 Yelp와 같은 표준 언어 모델링 데이터셋에서 대부분의 경우 최고 수준의 퍼플렉서티를 달성하며 이전의 VAE 기반 모델을 능가한다.
• 리만형 잠재 공간의 기하학적 제약 덕분에 후행분포가 표준 가우시안으로 붕괴될 수 없게 되어, KL 발산 소실 문제를 크게 줄였다.
• 리만형 공간에서는 입력 문장과 잠재 코드 간의 상호정보량이 유럽형 공간보다 더 높다($I(\boldsymbol{z}^{\boldsymbol{\backprime}}, \boldsymbol{x}) > I(\boldsymbol{z}, \boldsymbol{x})$), 이는 더 정보가 풍부한 표현을 의미한다.
• 리만형 잠재 공간에서 생성된 텍스트는 의미적 및 구조적 다양성이 더 높으며, 플로우가 다양한 입력 조건에 걸쳐 더 넓은 후행 지원을 가능하게 하였다.
• RNF와 워샤르스타인 목표의 조합은 더 안정적이고 효과적인 훈련을 가능하게 하였고, 재구성 품질과 잠재 코드의 정보성 간의 균형을 개선했다.
• 실험 결과는 퍼플렉서티 향상 폭이 미미할지라도 RNF-WAE 모델이 항상 상호정보량과 생성 다양성 측면에서 향상됨을 보여주었으며, 기하학적으로 인식된 잠재 공간의 가치를 확인한다.