[논문 리뷰] Fixing Gaussian Mixture VAEs for Interpretable Text Generation

Wenxian Shi, Hao Zhou외 3명|arXiv (Cornell University)|2019. 06. 16.

Topic Modeling참고 문헌 29인용 수 9

한 줄 요약

이 논문은 텍스트 생성에서 해석 가능성성을 향상시키기 위해 지수족 혼합 사전분포를 사용하는 새로운 VAE 프레임워크인 DEM-VAE를 제안한다. 모드 붕괴를 막기 위해 산란 페널티를 도입함으로써, 구성 요소가 의미 있는 의미적 요소에 대응하는 잘 구조화되고 분리된 잠재 공간을 학습한다. 이는 생성 품질과 해석 가능성에서 강력한 베이스라인을 능가한다.

ABSTRACT

Deep generative models are commonly used for generating images and text. Interpretability of these models is one important pursuit, other than the generation quality. Variational auto-encoder (VAE) with Gaussian distribution as prior has been successfully applied in text generation, but it is hard to interpret the meaning of the latent variable. To enhance the controllability and interpretability, one can replace the Gaussian prior with a mixture of Gaussian distributions (GM-VAE), whose mixture components could be related to hidden semantic aspects of data. In this paper, we generalize the practice and introduce DEM-VAE, a class of models for text generation using VAEs with a mixture distribution of exponential family. Unfortunately, a standard variational training algorithm fails due to the mode-collapse problem. We theoretically identify the root cause of the problem and propose an effective algorithm to train DEM-VAE. Our method penalizes the training with an extra dispersion term to induce a well-structured latent space. Experimental results show that our approach does obtain a meaningful space, and it outperforms strong baselines in text generation benchmarks. The code is available at this https URL.

연구 동기 및 목표

• VAE의 표준 가우시안 사전분포를 구조화된 혼합 사전분포로 대체하여 텍스트 생성에서의 해석 가능성성을 향상시키는 것.
• 혼합 사전분포 VAE의 변분 학습 과정에서 흔히 발생하는 모드 붕괴 문제를 해결하는 것.
• 각 구성 요소가 텍스트 의미의 별개의 측면에 대응하는 분리된 의미론적 잠재 표현을 가능하게 하는 것.
• 최적화를 안정화하고 의미 있는 잠재 공간 구조를 보장하는 학습 알고리즘을 개발하는 것.

제안 방법

• 잠재 변수에 대한 지수족 분포의 혼합을 사전분포로 사용하는 DEM-VAE라는 VAE 프레임워크를 제안한다.
• 기본적인 변분 학습에서 발생하는 모드 붕괴의 원인이 혼합 구성 요소의 식별 불가능성과 사후 근사에서의 다양성 부족에 있음을 규명한다.
• 사후 붕괴를 억제하고 구성 요소 사용의 균형을 유도하기 위해 산란 정규화 항을 도입한다.
• 산란 페널티를 통합한 변분 하한을 유도하여 학습 안정성과 분리도를 향상시킨다.
• 지수족 분포에 호환되는 재구성 기법을 활용해 엔드 투 엔드 학습을 가능하게 한다.
• 추론 중에 구성 요소를 탐욕적으로 할당하는 전략을 사용하여 분리도와 해석 가능성성을 향상시킨다.

실험 결과

연구 질문

• RQ1 지수족 분포를 기반으로 한 혼합 사전분포가 텍스트 생성에서 더 해석 가능하고 분리된 표현을 가능하게 하는가?
• RQ2 기본적인 변분 학습이 혼합 사전분포 VAE에 대해 왜 실패하는가? 모드 붕괴 문제의 근본 원인은 무엇인가?
• RQ3 산란 정규화 항이 DEM-VAE의 학습을 효과적으로 안정화시키고 사후 붕괴를 방지하는가?
• RQ4 결과로 도출된 잠재 공간이 생성된 텍스트의 의미적 요소를 의미 있게 분리할 수 있는가?
• RQ5 DEM-VAE는 생성 품질과 해석 가능성 측정치에서 강력한 베이스라인과 비교해 어떻게 성과를 내는가?

주요 결과

• 제안된 산란 정규화 항은 DEM-VAE의 학습 과정에서 모드 붕괴를 효과적으로 완화하여 안정적인 최적화를 가능하게 한다.
• 학습된 잠재 공간은 의미 있는 분리도를 보이며, 개별 혼합 구성 요소가 텍스트의 별개의 의미적 요소에 대응한다.
• DEM-VAE는 표준 텍스트 생성 벤치마크에서 최신 기준 성능을 달성하여 생성 품질과 해석 가능성에서 강력한 베이스라인을 능가한다.
• 제거 실험을 통해 산란 페널티가 구성 요소 다양성을 유지하고 사후 붕괴를 방지하는 데 필수적임을 확인한다.
• 정성적 분석 결과, 개별 구성 요소를 조작할 경우 생성된 텍스트에 의미적으로 일관되고 해석 가능한 변화가 발생한다.
• 이 방법은 가우시안 혼합 분포를 초월해 일반화되며, 구조화된 잠재 모델링에서 지수족 사전분포의 효과성을 입증한다.