[论文解读] Latent Topic Conversational Models

Tsung-Hsien Wen, Minh-Thang Luong|arXiv (Cornell University)|Sep 19, 2018

Topic Modeling参考文献 36被引用 4

一句话总结

本文提出潜在主题对话模型（LTCM），一种结合序列到序列（seq2seq）模型与神经主题模型的混合架构，以提升开放域对话系统中的响应多样性与质量。通过从输入话语中学习全局主题分布，并在每个解码步骤中以此作为条件来生成响应，LTCM 相较于基线 seq2seq 模型与潜在变量模型，能够生成更具多样性、上下文相关性更强且更符合人类偏好的响应。

ABSTRACT

Latent variable models have been a preferred choice in conversational modeling compared to sequence-to-sequence (seq2seq) models which tend to generate generic and repetitive responses. Despite so, training latent variable models remains to be difficult. In this paper, we propose Latent Topic Conversational Model (LTCM) which augments seq2seq with a neural latent topic component to better guide response generation and make training easier. The neural topic component encodes information from the source sentence to build a global "topic" distribution over words, which is then consulted by the seq2seq model at each generation step. We study in details how the latent representation is learnt in both the vanilla model and LTCM. Our extensive experiments contribute to better understanding and training of conditional latent models for languages. Our results show that by sampling from the learnt latent representations, LTCM can generate diverse and interesting responses. In a subjective human evaluation, the judges also confirm that LTCM is the overall preferred option.

研究动机与目标

• 解决标准 seq2seq 模型在开放域对话中生成通用、重复且不一致响应的局限性。
• 通过整合结构化的神经主题组件，提升潜在变量模型的训练稳定性和响应多样性。
• 联合学习对话生成中的全局语义表征（主题）与局部词级动态。
• 探究在解耦且可解释的潜在主题空间上进行条件生成是否能提升响应质量与多样性。
• 为在自然语言生成中训练条件潜在变量模型提供实证洞察与实用指导。

提出的方法

• LTCM 将标准 seq2seq 模型与神经主题模型结合，后者将输入话语编码为词语上的全局主题分布。
• 潜在主题分布作为上下文门控机制，在每个解码步骤中影响输出词的概率。
• 模型使用变分推断与重参数化技巧训练潜在主题组件，梯度仅反向传播至主题词。
• 推理过程中对主题表征进行采样，以生成多样化响应，从而探索不同的语义方向。
• 模型采用变分下界目标进行训练，结合 KL 退火与辅助词袋信号以稳定训练过程。
• 引入主题门控机制，动态平衡 seq2seq 解码器与主题组件在响应生成中的贡献。

实验结果

研究问题

• RQ1 神经主题模型能否有效集成到 seq2seq 框架中，以提升响应的多样性与连贯性？
• RQ2 潜在主题表征如何影响开放域对话中生成响应的质量与多样性？
• RQ3 在解耦的、全局的主题分布上进行条件生成，是否能相比标准潜在变量模型实现更好的泛化能力与更低的重复率？
• RQ4 变分下界与响应多样性之间的权衡如何影响模型性能？
• RQ5 人类评估者能否可靠地偏好由学习到的主题基潜在空间生成的响应，而非标准 seq2seq 或潜在变量模型生成的响应？

主要发现

• LTCM 在响应多样性方面表现显著更优，独特性得分为 42.6%，Zipf 得分更低，在基于语料的评估中优于基线模型。
• 人工评估显示 LTCM 是最受青睐的模型，其在趣味性（3.97）与恰当性（4.04）两项指标上的最高分均高于所有测试模型。
• 尽管变分下界显著更差且 KL 散度更高，LTCM 仍保持与基线相当的困惑度，表明额外损失被用于编码话语层面的多样性。
• 模型的潜在主题表征有效捕捉了全局语义，且主题门控机制在协调模型组件方面与人类直觉一致。
• 从条件主题分布 $p(\theta|u)$ 中采样，相比从先验 $p(\theta)$ 采样，能生成更相关且更多样化的响应。
• 定性分析表明，与贪婪策略或标准潜在变量基线相比，LTCM 生成的响应在语义与句法多样性方面表现更优。