[论文解读] Dirichlet Variational Autoencoder for Text Modeling

Yijun Xiao, Tiancheng Zhao+1 more|arXiv (Cornell University)|Oct 31, 2018

Topic Modeling参考文献 32被引用 14

一句话总结

本文提出了一种狄利克雷变分自编码器（DVAE），通过使用狄利克雷分布的潜在变量显式建模文档主题，减少了KL散度消失问题，从而提升了文本重建质量和表征学习效果。该模型联合优化一个多变量高斯潜在码和一个狄利克雷主题变量，实现了更具语义意义且解耦的表征，并在潜在空间中生成了更高质量的文本。

ABSTRACT

We introduce an improved variational autoencoder (VAE) for text modeling with topic information explicitly modeled as a Dirichlet latent variable. By providing the proposed model topic awareness, it is more superior at reconstructing input texts. Furthermore, due to the inherent interactions between the newly introduced Dirichlet variable and the conventional multivariate Gaussian variable, the model is less prone to KL divergence vanishing. We derive the variational lower bound for the new model and conduct experiments on four different data sets. The results show that the proposed model is superior at text reconstruction across the latent space and classifications on learned representations have higher test accuracies.

研究动机与目标

• 为解决文本VAE中的KL散度消失问题，该问题会导致表征学习效果差并退化为语言模型。
• 通过将主题分布显式建模为狄利克雷潜在变量，提升文本重建质量。
• 通过将主题感知引入VAE框架，学习到更解耦且更具语义意义的表征。
• 在重建、下游分类任务以及零样本主题生成方面评估模型性能。
• 分析VAE目标函数中重建（负对数似然，NLL）与KL散度之间的权衡。

提出的方法

• 引入一种混合潜在空间，结合多变量高斯变量（z）和狄利克雷分布的主题变量（t），以建模文档语义。
• 推导出一个变分下界，联合优化输入文本的重建和主题分布的建模。
• 使用重参数化技巧实现端到端的反向传播训练，支持基于梯度的优化。
• 采用基于LSTM的解码器，同时依赖z和t进行条件生成，实现主题感知的序列重建。
• 应用边缘模型为未见文档生成主题分布，将主题建模作为该框架的副产品。
• 在四个数据集上对无条件VAE和条件VAE（cVAE）设置进行了实验，涵盖有标签和无标签文本。

实验结果

研究问题

• RQ1 通过将狄利克雷潜在变量显式建模主题分布，是否能减少文本VAE中的KL散度消失问题？
• RQ2 在潜在空间的整个区域中，引入主题感知潜在结构是否能提升文本重建质量？
• RQ3 与标准VAE相比，DVAE学习到的表征是否能在下游分类任务中取得更高的准确率？
• RQ4 该模型能否为未见测试文档生成合理且连贯的主题分布？
• RQ5 VAE目标函数中重建损失（NLL）与KL散度之间的最优平衡是什么？该平衡如何影响表征质量？

主要发现

• DVAE在潜在空间的所有区域（包括低概率区域）的文本重建性能均优于标准VAE。
• 基于学习到的表征进行下游分类任务时，准确率显著高于基线模型，表明其表征更具解耦性和语义意义。
• 该模型能从潜在空间中多样化的位置（包括插值点）生成质量更高、更连贯的样本。
• 边缘模型成功为未见文档生成了主题分布，且每个主题的关键词与有意义的主题（如餐厅、酒店、早餐）高度一致。
• 在合成数据集上的实验表明，KL值过低或过高均会降低性能——过低导致表征随机化，过高则导致记忆化现象，表明存在一个最优的中间KL水平。
• 高斯与狄利克雷潜在变量之间的相互作用天然地缓解了KL消失问题，即使不进行显式损失修改或架构调整。