[论文解读] A Document-grounded Matching Network for Response Selection in Retrieval-based Chatbots

Xueliang Zhao, Chongyang Tao+4 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 23被引用 5

一句话总结

本文提出了一种文档增强匹配网络（DGMN），通过分层注意力机制联合建模对话上下文与外部背景文档，增强了检索式聊天机器人中的响应选择能力。DGMN通过上下文感知表示动态识别相关文档部分并实现话语的文档对齐，相较于基线模型在 PERSONA-CHAT 上实现超过13%的 r@1 绝对提升，在 CMUDoG 上实现超过5%的提升，达到当前最优性能。

ABSTRACT

We present a document-grounded matching network (DGMN) for response selection that can power a knowledge-aware retrieval-based chatbot system. The challenges of building such a model lie in how to ground conversation contexts with background documents and how to recognize important information in the documents for matching. To overcome the challenges, DGMN fuses information in a document and a context into representations of each other, and dynamically determines if grounding is necessary and importance of different parts of the document and the context through hierarchical interaction with a response at the matching step. Empirical studies on two public data sets indicate that DGMN can significantly improve upon state-of-the-art methods and at the same time enjoys good interpretability.

研究动机与目标

• 为解决检索式聊天机器人缺乏外部知识（尤其是非结构化背景文档）对齐的问题。
• 通过联合建模对话上下文与外部文档，提升相关性与一致性，从而改进响应选择。
• 动态确定哪些文档部分与上下文对匹配至关重要，提升可解释性与性能。
• 开发一种神经匹配模型，通过分层注意力机制融合上下文与文档表征。

提出的方法

• DGMN 使用自注意力机制将对话中的话语、文档中的句子以及响应候选生成上下文表征。
• 通过注意力机制构建文档感知的上下文表征与上下文感知的文档表征，以建模对齐与理解。
• 分层交互机制在话语-响应与句子-响应两个层级计算匹配信号，动态判断对齐的必要性与重要性。
• 在两个层级学习匹配权重：首先在话语与文档句子之间，然后在响应词元与相关上下文/文档部分之间。
• 最终匹配得分由所有成对匹配信号聚合而成，实现鲁棒且可解释的响应选择。
• 模型采用对比损失进行端到端训练，以优化从候选中选择正确响应的能力。

实验结果

研究问题

• RQ1 检索式聊天机器人如何有效将外部背景文档融入响应选择，以提升相关性与一致性？
• RQ2 何种机制使模型能够动态判断在响应匹配过程中何时以及何处需要对齐？
• RQ3 与仅依赖上下文的模型相比，联合建模对话上下文与文档内容如何提升匹配性能？
• RQ4 不同文档长度在多大程度上影响响应选择性能？DGMN 如何适应不同复杂度的文档？

主要发现

• 在 PERSONA-CHAT 数据集上，DGMN 相较于基于 Transformer 的当前最优基线模型，r@1 提升超过13%。
• 在 CMUDoG 数据集上，DGMN 相较于表现最佳的基线模型，r@1 提升超过5%。
• 在 PERSONA-CHAT 中，短篇与长篇个人资料的性能均下降，表明资料长度影响信息质量与相关性。
• 在 CMUDoG 中，基于 Wikipedia 的更长文档带来更好的性能，表明更丰富的语义重叠可增强匹配效果。
• 定性分析表明，DGMN 能够正确识别相关文档句子与上下文-话语关系，例如将 'student' 与 'education' 成功关联。
• 注意力权重可视化显示，功能词与标点符号主要与其所在话语对齐，而 'work' 和 'education' 等内容词则在相关文档句子间表现出强跨注意力。