[論文レビュー] Fixing Gaussian Mixture VAEs for Interpretable Text Generation

Wenxian Shi, Hao Zhou+3 more|arXiv (Cornell University)|Jun 16, 2019

Topic Modeling参考文献 29被引用数 9

ひとこと要約

本稿では、テキスト生成における解釈可能性を向上させるために、指数型分布族の混合事前分布を用いる新しいVAEフレームワークであるDEM-VAEを提案する。モード崩壊を是正するための分散正則化項を導入することで、意味的な側面に対応する明確に構造化された、分離可能な潜在空間を学習可能となり、生成品質および解釈可能性の両面で強力なベースラインを上回る性能を発揮する。

ABSTRACT

Deep generative models are commonly used for generating images and text. Interpretability of these models is one important pursuit, other than the generation quality. Variational auto-encoder (VAE) with Gaussian distribution as prior has been successfully applied in text generation, but it is hard to interpret the meaning of the latent variable. To enhance the controllability and interpretability, one can replace the Gaussian prior with a mixture of Gaussian distributions (GM-VAE), whose mixture components could be related to hidden semantic aspects of data. In this paper, we generalize the practice and introduce DEM-VAE, a class of models for text generation using VAEs with a mixture distribution of exponential family. Unfortunately, a standard variational training algorithm fails due to the mode-collapse problem. We theoretically identify the root cause of the problem and propose an effective algorithm to train DEM-VAE. Our method penalizes the training with an extra dispersion term to induce a well-structured latent space. Experimental results show that our approach does obtain a meaningful space, and it outperforms strong baselines in text generation benchmarks. The code is available at this https URL.

研究の動機と目的

• VAEにおける標準的なガウス事前分布の代わりに構造化された混合事前分布を用いることで、テキスト生成における解釈可能性を向上させること。
• 混合事前分布VAEの変分学習において一般的に生じるモード崩壊問題に対処すること。
• 各成分がテキスト意味論の別々の側面に対応する、分離可能で意味的に明確な潜在表現を可能にすること。
• 最適化を安定化させ、意味的な潜在空間構造を保証する訓練アルゴリズムの開発

提案手法

• 潜在変数の事前分布として指数型分布族の混合分布を用いるVAEフレームワーク、DEM-VAEを提案する。
• 標準的な変分学習におけるモード崩壊が、混合成分の同定不能性と事後分布の多様性不足に起因することを特定する。
• 事後分布の崩壊を抑制し、成分のバランスの取れた使用を促進するための分散正則化項を導入する。
• 分散正則化項を組み込んだ変分下界を導出し、訓練の安定化と分離性の促進を実現する。
• 指数型分布族と整合する再パrameterizationトリックを採用し、エンドツーエンドの訓練を可能にする。
• 推論時にグリーディな成分割り当て戦略を用いることで、分離性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族に基づく混合事前分布は、テキスト生成におけるより解釈可能で分離可能な表現を可能にするか？
• RQ2 標準的な変分学習が混合事前分布VAEで失敗する理由は何か？モード崩壊の根本的要因は何か？
• RQ3 分散正則化項は、DEM-VAEにおける訓練の安定化と事後分布の崩壊防止に効果的に機能するか？
• RQ4 得られた潜在空間は、生成されたテキストにおける意味的側面の意味的に明確な分離を可能にするか？
• RQ5 生成品質および解釈可能性の両方の指標において、DEM-VAEは強力なベースラインと比較してどのように優れるか？

主な発見

• 提案された分散正則化は、DEM-VAEの訓練中にモード崩壊を効果的に是正し、安定した最適化を可能にする。
• 学習された潜在空間は意味的に明確な分離を示しており、個々の混合成分がテキストの別々の意味的側面に対応している。
• DEM-VAEは、標準的なテキスト生成ベンチマークで最先端の性能を達成し、生成品質および解釈可能性の両面で強力なベースラインを上回る。
• アブレーションスタディにより、分散ペナルティが成分の多様性を維持し、事後分布の崩壊を防止するために不可欠であることが確認された。
• 定性的な分析から、個々の成分を操作することで、意味的に整合的で解釈可能な生成テキストの変更が得られることを示した。
• 本手法はガウス混合に限定されず、構造的潜在モデルにおける指数型分布族事前分布の有効性を示している。