[论文解读] Better Conversations by Modeling,Filtering,and Optimizing for Coherence and Diversity

Xinnuo Xu, Ondřej Dušek+2 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 35被引用 5

一句话总结

本论文提出了一套统一框架，通过引入基于GloVe的连贯性度量方法、对训练数据进行连贯性与词汇多样性过滤，并训练一种带有上下文门机制的条件变分自编码器（cVAE），以显式地基于连贯性进行条件控制，从而提升开放域对话系统中响应的连贯性与多样性。在OpenSubtitles数据集上的实验表明，该方法在BLEU、连贯性与多样性指标上均显著优于竞争性基线模型。

ABSTRACT

We present three enhancements to existing encoder-decoder models for open-domain conversational agents, aimed at effectively modeling coherence and promoting output diversity: (1) We introduce a measure of coherence as the GloVe embedding similarity between the dialogue context and the generated response, (2) we filter our training corpora based on the measure of coherence to obtain topically coherent and lexically diverse context-response pairs, (3) we then train a response generator using a conditional variational autoencoder model that incorporates the measure of coherence as a latent variable and uses a context gate to guarantee topical consistency with the context and promote lexical diversity. Experiments on the OpenSubtitles corpus show a substantial improvement over competitive neural models in terms of BLEU score as well as metrics of coherence and diversity.

研究动机与目标

• 为解决神经响应生成中缺乏显式连贯性建模的问题，该问题常导致生成结果平庸且不连贯。
• 通过过滤训练数据以提升主题连贯性与词汇丰富度，从而改善响应多样性。
• 将连贯性作为潜在变量整合进条件变分自编码器（cVAE）中，以实现对响应质量的更好控制。
• 结合上下文门机制与连贯性感知训练，确保主题一致性并减少重复。
• 提出一种完全无监督、数据驱动的连贯性建模方法，无需依赖外部标注或语言学规则。

提出的方法

• 将连贯性定义为上下文与响应词元的GloVe词嵌入之间余弦相似度的平均值。
• 通过选择连贯性得分较高的上下文-响应对，从OpenSubtitles语料库中筛选出连贯性更高的训练数据子集。
• 训练一种条件变分自编码器（cVAE），其中一个潜在变量编码对话上下文，另一个潜在变量编码连贯性度量。
• 引入上下文门机制，动态平衡上下文词元与先前生成的响应词元之间的注意力，以促进主题相关性。
• 联合训练cVAE模型，同时使用重建损失与基于连贯性的正则化项，引导生成过程产出更连贯且多样的响应。
• 采用带有上下文门的束搜索解码方法，生成既上下文相关又词汇多样的响应。

实验结果

研究问题

• RQ1 纯粹无监督的、基于嵌入的连贯性度量是否能有效识别高质量、连贯的对话响应？
• RQ2 基于连贯性对训练数据进行过滤，在多大程度上能提升生成响应的质量？
• RQ3 在cVAE架构中显式建模连贯性作为潜在变量，是否能生成更连贯且多样的响应？
• RQ4 将上下文门与连贯性感知训练相结合，对响应的主题相关性与词汇多样性有何影响？
• RQ5 所提出的框架在BLEU、连贯性与多样性指标上是否优于现有神经响应生成模型？

主要发现

• 所提模型在BLEU分数上相比竞争性基线模型有显著提升，表明整体响应质量更优。
• 模型在自动连贯性与多样性指标上均有显著增益，证实了连贯性感知训练方法的有效性。
• 消融实验表明，每个组件——连贯性过滤、带连贯性潜在变量的cVAE、以及上下文门——均对性能有实质性贡献。
• 人类评估（将在未来工作中进行）预期将验证该模型生成更连贯且更具吸引力响应的能力。
• cVAE-XGate (1.0) 模型在fOST测试集上的定性示例中，生成的响应比MMI基线更具体且更符合上下文。
• 该模型在生成主题一致且词汇多样的响应方面，优于强基线模型如MMI与普通cVAE。