[论文解读] Fixing Gaussian Mixture VAEs for Interpretable Text Generation

Wenxian Shi, Hao Zhou+3 more|arXiv (Cornell University)|Jun 16, 2019

Topic Modeling参考文献 29被引用 9

一句话总结

本文提出 DEM-VAE，一种新颖的 VAE 框架，采用指数族混合先验以提升文本生成的可解释性。通过引入发散惩罚项来对抗模式崩溃，该方法学习到一个结构良好、解耦的潜在空间，其中各成分对应有意义的语义方面，在生成质量和可解释性方面优于强基线模型。

ABSTRACT

Deep generative models are commonly used for generating images and text. Interpretability of these models is one important pursuit, other than the generation quality. Variational auto-encoder (VAE) with Gaussian distribution as prior has been successfully applied in text generation, but it is hard to interpret the meaning of the latent variable. To enhance the controllability and interpretability, one can replace the Gaussian prior with a mixture of Gaussian distributions (GM-VAE), whose mixture components could be related to hidden semantic aspects of data. In this paper, we generalize the practice and introduce DEM-VAE, a class of models for text generation using VAEs with a mixture distribution of exponential family. Unfortunately, a standard variational training algorithm fails due to the mode-collapse problem. We theoretically identify the root cause of the problem and propose an effective algorithm to train DEM-VAE. Our method penalizes the training with an extra dispersion term to induce a well-structured latent space. Experimental results show that our approach does obtain a meaningful space, and it outperforms strong baselines in text generation benchmarks. The code is available at this https URL.

研究动机与目标

• 通过在 VAE 中用结构化的混合先验替代标准高斯先验，提升文本生成的可解释性。
• 解决在混合先验 VAE 的变分训练过程中常见的模式崩溃问题。
• 实现解耦且语义有意义的潜在表征，使每个成分对应文本语义的一个独立方面。
• 开发一种训练算法，以稳定优化过程并确保潜在空间的有意义结构。

提出的方法

• 提出 DEM-VAE，一种使用指数族分布混合作为潜在变量先验的 VAE 框架。
• 识别出标准变分训练中模式崩溃的根本原因在于混合成分的不可识别性以及后验近似中缺乏多样性。
• 引入一种发散正则化项，惩罚后验崩溃并鼓励各成分的均衡使用。
• 推导出包含发散惩罚项的变分下界，以稳定训练并促进解耦。
• 采用与指数族分布兼容的重参数化技巧，以支持端到端训练。
• 在推理过程中采用贪心的成分分配策略，以提升解耦性和可解释性。

实验结果

研究问题

• RQ1 基于指数族分布的混合先验是否能在文本生成中实现更可解释且解耦的表征？
• RQ2 标准变分训练为何在混合先验 VAE 中失效，模式崩溃的根本原因是什么？
• RQ3 发散正则化项是否能有效稳定 DEM-VAE 的训练并防止后验崩溃？
• RQ4 所得潜在空间是否允许对生成文本中的语义方面实现有意义的解耦？
• RQ5 DEM-VAE 在生成质量与可解释性指标方面与强基线相比表现如何？

主要发现

• 所提出的发散正则化能有效缓解 DEM-VAE 训练过程中的模式崩溃，实现稳定的优化。
• 学习到的潜在空间展现出有意义的解耦，各混合成分对应于文本的独立语义方面。
• DEM-VAE 在标准文本生成基准上达到最先进性能，在生成质量和可解释性方面均优于强基线。
• 消融实验表明，发散惩罚对维持成分多样性、防止后验崩溃至关重要。
• 定性分析显示，操纵单个成分可导致生成文本中语义连贯且可解释的变化。
• 该方法可推广至高斯混合之外，证明了指数族先验在结构化潜在建模中的有效性。