[论文解读] Dispersed Exponential Family Mixture VAEs for Interpretable Text Generation

Wenxian Shi, Hao Zhou+2 more|arXiv (Cornell University)|Jun 16, 2019

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种新型变分自编码器框架——分散指数族混合变分自编码器（DEM-VAE），通过使用指数族混合先验，实现对文本生成中离散语义属性（如主题或对话行为）的可解释性解耦。为克服此类模型固有的模式崩溃问题，作者在ELBO目标函数中引入了一种分散正则化项，有效稳定了训练过程，使潜在空间中的聚类更加清晰分离，显著提升了在文本生成与解耦基准上的性能，优于强基线模型。

ABSTRACT

Deep generative models are commonly used for generating images and text. Interpretability of these models is one important pursuit, other than the generation quality. Variational auto-encoder (VAE) with Gaussian distribution as prior has been successfully applied in text generation, but it is hard to interpret the meaning of the latent variable. To enhance the controllability and interpretability, one can replace the Gaussian prior with a mixture of Gaussian distributions (GM-VAE), whose mixture components could be related to hidden semantic aspects of data. In this paper, we generalize the practice and introduce DEM-VAE, a class of models for text generation using VAEs with a mixture distribution of exponential family. Unfortunately, a standard variational training algorithm fails due to the mode-collapse problem. We theoretically identify the root cause of the problem and propose an effective algorithm to train DEM-VAE. Our method penalizes the training with an extra dispersion term to induce a well-structured latent space. Experimental results show that our approach does obtain a meaningful space, and it outperforms strong baselines in text generation benchmarks. The code is available at https://github.com/wenxianxian/demvae.

研究动机与目标

• 为解决标准VAE在文本生成中因连续潜在变量难以解释而导致的可解释性不足问题。
• 克服使用指数族混合先验的VAE中存在的模式崩溃问题，该问题会导致所有组件坍缩至单一模式的退化解。
• 开发一种理论基础坚实的训练方法，以稳定潜在空间并实现对主题或对话行为等离散语义属性的有效解耦。
• 在保持对离散潜在变量控制的同时，提升在标准文本生成基准上的生成质量与解耦性能。

提出的方法

• 提出一类通用模型——DEM-VAE，使用指数族混合分布作为VAE中的先验，以建模文本中的离散语义属性。
• 识别出模式崩溃的根本原因在于ELBO中的内在‘分散’项，该机制倾向于产生参数完全相同的坍缩解。
• 在训练目标中引入一种新颖的分散正则化项，以抵消参数收缩的倾向，促进各混合组件的清晰分离与多样性。
• 该分散项显式惩罚组件参数的过小方差，从而提升学习到的混合组件的多样性与稳定性。
• 该方法具有理论依据，适用于任意指数族分布（包括高斯混合），因此在可解释性生成任务中具有广泛适用性。
• 训练目标结合了标准ELBO与对组件参数分散度的惩罚项，实现了稳定优化，且无需复杂超参数调优。

实验结果

研究问题

• RQ1 为何使用指数族混合先验的VAE在训练过程中会出现模式崩溃？
• RQ2 能否设计一种理论基础坚实的正则化项，以稳定此类模型的训练并防止组件坍缩？
• RQ3 所提出的分散正则化是否能有效提升文本生成中离散语义属性的解耦程度？
• RQ4 DEM-VAE与β-VAE、自由比特（free bits）及激进更新策略相比，在缓解模式崩溃方面表现如何？
• RQ5 DEM-VAE是否能在标准文本生成基准上实现优于强基线的生成质量与解耦性能？

主要发现

• DEM-VAE有效缓解了模式崩溃，表现为潜在空间中不同对话意图被清晰分离为独立聚类，而普通GM-VAE则坍缩至单一模式。
• 在PTB基准上，DGM-VAE取得了最佳BLEU分数（8.17）与最高互信息（0.22），优于所有基线模型，包括β-GM-VAE与自由比特方法。
• 模型实现了较高的KL(c)值（4.76）与较大的组件参数方差（787.03），表明离散潜在变量被有效利用，且组件分离稳定。
• 尽管NLL略有上升（104.26），但DGM-VAE在BLEU与互信息等关键指标上显著提升，证明其在语义质量与解耦性方面更优。
• 与β-VAE、自由比特及激进更新相比，分散正则化在防止模式崩溃方面更具有效性，同时保持了良好的生成质量。
• 在多标签分类任务中，DCM-VAE实现了最高准确率与强互信息，证实潜在空间捕捉到了有意义且解耦的语义属性。