[论文解读] A Dual Encoder Sequence to Sequence Model for Open-Domain Dialogue Modeling

T. Sharath, Shubhangi Tandon+1 more|arXiv (Cornell University)|Oct 28, 2017

Topic Modeling参考文献 14被引用 4

一句话总结

本文提出了一种双编码器序列到序列模型，通过将前一话语的对话行为潜在表征注入响应生成过程，提升了开放域对话的一致性。通过将对话上下文编码为话语感知的潜在变量，该模型生成的响应相较于标准序列到序列模型更具上下文相关性和一致性。

ABSTRACT

Ever since the successful application of sequence to sequence learning for neural machine translation systems, interest has surged in its applicability towards language generation in other problem domains. Recent work has investigated the use of these neural architectures towards modeling open-domain conversational dialogue, where it has been found that although these models are capable of learning a good distributional language model, dialogue coherence is still of concern. Unlike translation, conversation is much more a one-to-many mapping from utterance to a response, and it is even more pressing that the model be aware of the preceding flow of conversation. In this paper we propose to tackle this problem by introducing previous conversational context in terms of latent representations of dialogue acts over time. We inject the latent context representations into a sequence to sequence neural network in the form of dialog acts using a second encoder to enhance the quality and the coherence of the conversations generated. The main task of this research work is to show that adding latent variables that capture discourse relations does indeed result in more coherent responses when compared to conventional sequence to sequence models.

研究动机与目标

• 为解决尽管对话具有一对多特性，开放域对话系统仍难以保持一致性的挑战。
• 通过引入超越即时话语的对话上下文潜在表征，提升响应质量。
• 探究通过对话行为建模话语层面关系是否能增强序列到序列架构中的响应生成。
• 证明话语感知的潜在变量可生成更一致且符合上下文的响应。

提出的方法

• 采用双编码器架构，其中一个编码器处理输入话语，另一个编码器对话语行为历史进行编码。
• 将前一回合的话语行为嵌入并编码为捕捉话语层面语境的潜在表征。
• 通过上下文感知注意力机制，将潜在上下文表征注入解码器的隐藏状态。
• 模型采用带注意力机制的序列到序列学习，通过第二个编码器生成的话语感知潜在变量进行增强。
• 潜在表征与主序列到序列模型端到端联合训练，使用标准自回归训练目标。
• 模型在开放域对话数据集上进行训练，以同时学习响应生成与上下文话语建模。

实验结果

研究问题

• RQ1 将对话行为的潜在表征注入是否能提升开放域对话系统中响应的一致性？
• RQ2 与标准序列到序列模型相比，通过话语感知潜在变量建模对话上下文对响应质量有何影响？
• RQ3 包含历史对话行为在多大程度上增强了模型生成上下文相关响应的能力？
• RQ4 双编码器结构是否能有效捕捉并利用话语层面的依赖关系？

主要发现

• 根据人工评估，所提模型生成的响应相比标准序列到序列模型更具一致性。
• 引入潜在对话行为表征显著提升了响应的相关性与上下文一致性。
• 双编码器架构有效捕捉了长距离话语依赖关系，提升了相对于基线模型的响应质量。
• 该模型在保持对话流畅性方面表现更优，尤其在多轮对话设置中。