[论文解读] DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder

Xiaodong Gu, Kyunghyun Cho+2 more|arXiv (Cornell University)|May 31, 2018

Topic Modeling参考文献 32被引用 33

一句话总结

该论文提出 DialogWAE，一种条件 Wasserstein 自编码器，通过在潜在空间中使用 GAN 和高斯混合先验来建模，从而在 SwitchBoard 和 DailyDialog 数据集上优于当前最先进（SOTA）的 VAE 基模型，实现更连贯、更丰富且更具信息量的多模态对话响应生成。

ABSTRACT

Variational autoencoders~(VAEs) have shown a promise in data-driven conversation modeling. However, most VAE conversation models match the approximate posterior distribution over the latent variables to a simple prior such as standard normal distribution, thereby restricting the generated responses to a relatively simple (e.g., unimodal) scope. In this paper, we propose DialogWAE, a conditional Wasserstein autoencoder~(WAE) specially designed for dialogue modeling. Unlike VAEs that impose a simple distribution over the latent variables, DialogWAE models the distribution of data by training a GAN within the latent variable space. Specifically, our model samples from the prior and posterior distributions over the latent variables by transforming context-dependent random noise using neural networks and minimizes the Wasserstein distance between the two distributions. We further develop a Gaussian mixture prior network to enrich the latent space. Experiments on two popular datasets show that DialogWAE outperforms the state-of-the-art approaches in generating more coherent, informative and diverse responses.

研究动机与目标

• 解决基于 VAE 的对话模型的局限性，特别是由于简单先验分布导致的后验坍塌和单模态响应生成问题。
• 克服强化学习和基于 GAN 的训练在离散文本标记上的不稳定性与高方差问题。
• 通过将先验分布建模为高斯混合模型，实现对话生成中更丰富、多模态的潜在表征。
• 通过最小化潜在空间中先验与后验分布之间的 Wasserstein 距离，提升响应质量。
• 开发一种基于 GAN 的框架，其在潜在变量上操作而非原始文本，从而实现稳定且高效的文本生成训练。

提出的方法

• 训练一个条件 Wasserstein 自编码器（WAE），利用神经网络学习将上下文相关的噪声映射到潜在变量。
• 通过最小化潜在变量上先验与后验分布之间的 Wasserstein 距离，改善分布对齐。
• 引入一个高斯混合先验网络，以在潜在空间中建模多模态分布，捕捉多样化的响应风格与主题。
• 在潜在空间中使用判别器，以强制先验与后验分布之间的一致性，替代标准 VAE 的重建损失。
• 通过从学习到的先验中采样，并使用基于上下文的条件生成器网络进行解码，生成响应。
• 在潜在空间中应用基于 GAN 的对抗性目标，以稳定训练并提升多样性，避免对离散标记直接进行对抗性训练。

实验结果

研究问题

• RQ1 在变分自编码器的潜在空间中采用基于 GAN 的方法，是否能提升对话生成中的响应多样性与连贯性？
• RQ2 将先验分布建模为高斯混合模型，是否相比简单先验能更好地捕捉多模态响应模式？
• RQ3 与标准 VAE 目标相比，Wasserstein 距离损失在减少后验坍塌和提升生成质量方面表现如何？
• RQ4 在潜在空间中进行对抗性训练，是否能实现稳定且有效的文本生成，而无需对离散标记进行直接优化？
• RQ5 高斯混合先验在多大程度上增强了对响应属性（如语气、情感、主题）的可解释性与解耦性？

主要发现

• 在 SwitchBoard 和 DailyDialog 数据集上，DialogWAE 在 BLEU、词嵌入相似度以及独特 n-gram 指标上均优于当前最先进（SOTA）的 VAE 基模型（CVAE-CO 和 VHCR）。
• DialogWAE-GMP 变体（采用高斯混合先验）在 DailyDialog 数据集上取得了最高的真人评估得分：连贯性 31.6%，多样性 29.2%，信息量 29.6%。
• 真人评估显示，DialogWAE-GMP 在所有三项指标上均显著更常被选为最佳模型，优于 CVAE-CO 和 VHCR。
• 高斯混合先验实现了清晰的响应类型解耦：组件 1 生成肯定性响应，组件 2 表达不确定性，组件 3 生成否定性响应，重叠极少。
• 该模型通过在潜在空间中学习到有意义且解耦的表征，成功缓解了后验坍塌，表现为不同高斯分量间存在明显不同的响应模式。
• 在潜在空间中使用 GAN 实现了稳定训练并提升了样本质量，且无需强化学习或可微分文本生成。