[논문 리뷰] Dispersed Exponential Family Mixture VAEs for Interpretable Text Generation

Wenxian Shi, Hao Zhou외 2명|arXiv (Cornell University)|2019. 06. 16.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 이산적 의미 속성(예: 주제 또는 대화 행위)을 분리해내는 데 유용한 새로운 VAE 프레임워크인 Dispersed Exponential Family Mixture VAEs (DEM-VAE)를 제안한다. 이는 지수족 혼합 사전분포를 사용함으로써 해석 가능한 텍스트 생성을 가능하게 한다. 이러한 모델에서 발생하는 본질적인 모드 수축 문제를 해결하기 위해, 저자들은 ELBO 목적함수에 분산 정규화 항을 도입하여 학습을 안정화시키고 의미 있는, 잘 분리된 잠재 클러스터를 생성한다. 이로 인해 기존 강력한 기준 모델들에 비해 텍스트 생성 및 분리성 벤치마크에서 성능이 크게 향상된다.

ABSTRACT

Deep generative models are commonly used for generating images and text. Interpretability of these models is one important pursuit, other than the generation quality. Variational auto-encoder (VAE) with Gaussian distribution as prior has been successfully applied in text generation, but it is hard to interpret the meaning of the latent variable. To enhance the controllability and interpretability, one can replace the Gaussian prior with a mixture of Gaussian distributions (GM-VAE), whose mixture components could be related to hidden semantic aspects of data. In this paper, we generalize the practice and introduce DEM-VAE, a class of models for text generation using VAEs with a mixture distribution of exponential family. Unfortunately, a standard variational training algorithm fails due to the mode-collapse problem. We theoretically identify the root cause of the problem and propose an effective algorithm to train DEM-VAE. Our method penalizes the training with an extra dispersion term to induce a well-structured latent space. Experimental results show that our approach does obtain a meaningful space, and it outperforms strong baselines in text generation benchmarks. The code is available at https://github.com/wenxianxian/demvae.

연구 동기 및 목표

• 기본 VAE에서 연속적인 잠재 변수가 해석하기 어려운 점을 해결하기 위해, 텍스트 생성에서의 해석 가능성 부족 문제를 해결한다.
• 지수족 혼합 사전분포를 갖는 VAE에서 발생하는 모드 수축 문제를 극복한다. 이는 모든 성분이 하나의 모드로 수축하는 열악한 해를 초래한다.
• 잠재 공간을 안정화하고 주제나 대화 행위와 같은 이산적 의미 속성의 의미 있는 분리를 가능하게 하는 이론적으로 타당한 학습 방법을 개발한다.
• 표준 텍스트 생성 벤치마크에서 생성 품질과 분리성 성능을 향상시키면서도 이산 잠재 변수에 대한 제어를 유지한다.

제안 방법

• 텍스트 내 이산적 의미 속성(예: 주제 또는 대화 행위)을 모델링하기 위해 지수족 혼합 분포를 사전분포로 사용하는 일반적인 모델 클래스인 DEM-VAE를 제안한다.
• 모드 수축의 근본 원인을 ELBO 내에서 발생하는 내재된 '분산' 항으로 규명하며, 이는 동일한 성분 파라미터를 갖는 수축된 해를 선호한다.
• 성분 파라미터의 분산을 줄이려는 경향을 상쇄시키기 위해 새로운 분산 정규화 항을 학습 목표에 도입한다. 이는 잘 분리된, 구분 가능한 혼합 성분을 장려한다.
• 이 분산 항은 성분 파라미터의 작은 분산을 명시적으로 페널티 처리함으로써, 학습된 혼합 성분의 다양성과 안정성을 증진시킨다.
• 이 방법은 이론적으로 타당하며, 가우시안 혼합 포함 모든 지수족 분포에 적용 가능하므로 해석 가능한 생성에 널리 활용 가능하다.
• 학습 목표함수는 표준 ELBO와 성분 파라미터의 분산에 대한 페널티를 조합하여 복잡한 초모수 튜닝 없이도 안정적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 지수족 혼합 사전분포를 갖는 VAE는 학습 중에 모드 수축 현상을 겪는가?
• RQ2 이러한 모델의 학습을 안정화시키고 성분 수축을 방지할 수 있는 이론적으로 타당한 정규화 항을 설계할 수 있는가?
• RQ3 제안된 분산 정규화가 텍스트 생성에서 이산적 의미 속성의 분리성 향상에 기여하는가?
• RQ4 DEM-VAE는 β-VAE, 프리 비트, 공격적인 업데이트와 같은 기존 방법들에 비해 모드 수축을 얼마나 효과적으로 완화하는가?
• RQ5 DEM-VAE는 표준 텍스트 생성 벤치마크에서 강력한 기준 모델들보다 더 나은 생성 품질과 분리성 성능를 달성할 수 있는가?

주요 결과

• DEM-VAE는 잠재 공간에서 서로 다른 대화 의도가 명확하게 분리된 클러스터를 형성함으로써 모드 수축을 효과적으로 완화함을 보였다. 반면, 보편적인 GM-VAE는 단일 모드로 수축한다.
• PTB 벤치마크에서 DGM-VAE는 최고의 BLEU 점수(8.17)와 가장 높은 상호정보량(0.22)을 기록하여, β-GM-VAE와 프리 비트를 포함한 모든 기준 모델들을 압도했다.
• 모델는 높은 KL(c) 값(4.76)과 성분 파라미터의 큰 분산(787.03)을 기록하여 이산 잠재 변수의 효과적인 활용과 안정된 성분 분리를 확인했다.
• 일부 기준 모델들보다 약간 높은 NLL(104.26)을 기록했지만, BLEU와 상호정보량과 같은 핵심 지표에서의 향상은 더 나은 의미 품질과 분리성을 보여주었다.
• 분산 정규화는 β-VAE, 프리 비트, 공격적인 업데이트보다 모드 수축 방지에 더 효과적이며, 양호한 생성 품질도 유지한다.
• 다중 레이블 분류에서 DCM-VAE는 가장 높은 정확도와 강력한 상호정보량을 기록하여, 잠재 공간이 의미 있는 분리된 의미 속성을 잘 포착하고 있음을 확인했다.