[論文レビュー] Dispersed Exponential Family Mixture VAEs for Interpretable Text Generation

Wenxian Shi, Hao Zhou+2 more|arXiv (Cornell University)|Jun 16, 2019

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、トピックや対話行動などの離散的意味的属性を分離可能にするために、指数型分布族混合事前分布を用いる新規VAEフレームワーク、Dispersed Exponential Family Mixture VAEs（DEM-VAE）を提案する。このようなモデルにおける固有のモード収縮問題を克服するため、ELBO目的関数に分散正則化項を導入し、訓練を安定化させ、意味的で明確に分離された潜在クラスタを実現する。これにより、強力なベースラインと比較して、テキスト生成および分離性ベンチマークにおける性能が顕著に向上する。

ABSTRACT

Deep generative models are commonly used for generating images and text. Interpretability of these models is one important pursuit, other than the generation quality. Variational auto-encoder (VAE) with Gaussian distribution as prior has been successfully applied in text generation, but it is hard to interpret the meaning of the latent variable. To enhance the controllability and interpretability, one can replace the Gaussian prior with a mixture of Gaussian distributions (GM-VAE), whose mixture components could be related to hidden semantic aspects of data. In this paper, we generalize the practice and introduce DEM-VAE, a class of models for text generation using VAEs with a mixture distribution of exponential family. Unfortunately, a standard variational training algorithm fails due to the mode-collapse problem. We theoretically identify the root cause of the problem and propose an effective algorithm to train DEM-VAE. Our method penalizes the training with an extra dispersion term to induce a well-structured latent space. Experimental results show that our approach does obtain a meaningful space, and it outperforms strong baselines in text generation benchmarks. The code is available at https://github.com/wenxianxian/demvae.

研究の動機と目的

• テキスト生成における標準VAEの解釈性の欠如に起因する、連続的潜在変数の解釈困難性を是正すること。
• 指数型分布族混合事前分布を用いるVAEにおけるモード収縮問題を克服すること。これは、すべての成分が同一モードに収縮する退化した解を引き起こす。
• 潜在空間の安定化とトピックや対話行動などの離散的意味的属性の意味的分離を可能にする理論的裏付けのある訓練手法を開発すること。
• 標準的なテキスト生成ベンチマークにおいて、離散的潜在変数の制御を維持したまま、生成品質および分離性性能を向上させること。

提案手法

• テキスト内の離散的意味的属性をモデル化するために、指数型分布族混合分布を事前分布として用いる一般化されたモデルクラス、DEM-VAEを提案する。
• モード収縮の根本的要因を、同一の成分パラメータを favour するELBO内に内在する「分散」項として同定する。
• 成分パラメータの分散を小さく抑えることを明示的にペナルティ化する、新たな分散正則化項を訓練目的関数に導入し、収縮傾向を是正する。
• 分散項は、成分パラメータの小さな分散を明示的にペナルティ化することで、学習された混合成分の多様性と安定性を促進する。
• 理論的裏付けがあり、ガウス混合を含む任意の指数型分布に適用可能であるため、解釈可能な生成に広く有用である。
• 訓練目的関数は、標準ELBOと成分パラメータの分散に対するペナルティを組み合わせており、複雑なハイパーパrameterチューニングを必要とせず、安定した最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ指数型分布族混合事前分布を用いるVAEは、訓練中にモード収縮を起こすのか？
• RQ2 理論的裏付けのある正則化項を設計することで、このようなモデルの訓練を安定化させ、成分収縮を防止できるか？
• RQ3 提案された分散正則化は、テキスト生成における離散的意味的属性の分離性を向上させるか？
• RQ4 DEM-VAEは、β-VAE、フリービット、および積極的更新といった既存手法と比較して、モード収縮の緩和にどの程度効果的か？
• RQ5 標準的なテキスト生成ベンチマークにおいて、DEM-VAEは強力なベースラインを上回る生成品質および分離性性能を達成できるか？

主な発見

• DEM-VAEはモード収縮を効果的に緩和しており、潜在空間における異なる対話意図が明確に分離されたクラスタを形成しているのに対し、ヴァニラGM-VAEは単一モードに収縮している。
• PTBベンチマークでは、DGM-VAEが最高のBLEUスコア（8.17）と最高の相互情報量（0.22）を達成し、β-GM-VAE やフリービットを含むすべてのベースラインを上回った。
• KL(c)値が4.76に高く、成分パラメータの分散が787.03と大きく、離散的潜在変数の有効な利用と安定した成分分離が示された。
• 一部のベースラインと比較してNLLがわずかに上昇（104.26）したものの、BLEUと相互情報量という主要指標で顕著に向上し、より優れた意味的品質と分離性を示した。
• 分散正則化は、β-VAE、フリービット、積極的更新よりも、モード収縮の防止と良好な生成品質の両方において優れた効果を示した。
• マルチラベル分類では、DCM-VAEが最高の精度と強い相互情報量を達成し、潜在空間が意味的で分離可能な意味的属性を的確に捉えていることを確認した。