[论文解读] Conversing by Reading: Contentful Neural Conversation with On-demand Machine Reading

Lianhui Qin, Michel Galley+6 more|arXiv (Cornell University)|Jun 6, 2019

Topic Modeling参考文献 38被引用 18

一句话总结

本文提出CMR（Conversing by Reading），一种端到端神经对话模型，通过按需机器阅读理解生成内容充实、基于知识的回复。通过将对话历史视为问题，将长篇网络文档视为上下文，该模型使用基于MRC的编码器检索并整合相关信息，在基于网页的全新280万轮对话数据集上，显著提升了基线模型在回复信息量和多样性方面的表现。

ABSTRACT

Although neural conversation models are effective in learning how to produce fluent responses, their primary challenge lies in knowing what to say to make the conversation contentful and non-vacuous. We present a new end-to-end approach to contentful neural conversation that jointly models response generation and on-demand machine reading. The key idea is to provide the conversation model with relevant long-form text on the fly as a source of external knowledge. The model performs QA-style reading comprehension on this text in response to each conversational turn, thereby allowing for more focused integration of external knowledge than has been possible in prior approaches. To support further research on knowledge-grounded conversation, we introduce a new large-scale conversation dataset grounded in external web pages (2.8M turns, 7.4M sentences of grounding). Both human evaluation and automated metrics show that our approach results in more contentful responses compared to a variety of previous methods, improving both the informativeness and diversity of generated output.

研究动机与目标

• 为解决神经对话系统中生成内容充实、非空洞回复的挑战。
• 实现在对话过程中按需整合来自长篇网络文档的外部知识。
• 联合建模响应生成与机器阅读理解，实现更深层次的知识对齐。
• 构建一个大规模、基于真实网络页面的对话数据集，用于研究。
• 证明MRC风格的阅读理解能提升开放域对话中的响应质量。

提出的方法

• 该模型将对话历史视为问题，将长篇网络文档视为上下文，将响应生成建模为机器阅读理解任务。
• 采用双编码器架构，分别对对话历史和文档进行嵌入，随后使用BiLSTM进行上下文编码。
• 应用交叉注意力机制，整合对话历史与文档之间的信息，随后通过自注意力机制和最终的BiLSTM进行记忆编码。
• 响应生成器关注最终编码的记忆表示，并使用自回归序列生成器生成自由形式的响应。
• 该框架将MRC模型中的标准答案跨度预测头替换为序列生成器，从而支持开放式、自然语言的响应。
• 该模型在新的Reddit对话数据集上进行端到端训练，该数据集链接了源网页，无需显式的对齐标注。

实验结果

研究问题

• RQ1 按需机器阅读理解能否提升神经对话响应的信息量和多样性？
• RQ2 联合学习响应生成与阅读理解与分别建模知识和响应生成相比有何差异？
• RQ3 基于MRC的框架能否有效将长篇复杂文档整合到对话响应中？
• RQ4 与合成或短文本知识源相比，使用真实世界非结构化网络文档对响应质量有何影响？
• RQ5 在无显式对齐标签的情况下，对对话-文档对进行端到端训练，是否能比弱监督基线模型实现更好的知识对齐？

主要发现

• 在人类评估中，CMR模型显著优于无对齐基线模型和先前的对齐响应生成模型，表现出更高的响应信息量和多样性。
• 人类评估确认，CMR生成的响应比记忆网络和Seq2Seq基线模型的响应更具内容性，且更准确地基于外部文档。
• 自动指标如BLEU、ROUGE和BERTScore显示CMR在强基线模型上持续提升，表明其响应更具流畅性和相关性。
• 该模型在包含280万轮对话和740万条从Reddit和关联网页中提取的对齐句子的新型大规模数据集上达到最先进性能。
• 消融实验表明，按需阅读理解的整合对性能提升至关重要，移除该模块会显著降低响应质量。
• 该框架在多样化主题上泛化良好，支持自由形式、非事实性对话，不限于事实类问题，适用于开放域对话。