[论文解读] Incremental Transformer with Deliberation Decoder for Document Grounded Conversations

Zekang Li, Cheng Niu+4 more|arXiv (Cornell University)|Jul 20, 2019

Topic Modeling参考文献 26被引用 18

一句话总结

本文提出了一种带有深思熟虑解码器的增量Transformer模型，用于文档增强型对话系统，通过逐步编码多轮对话与文档知识，并采用两阶段解码器（第一阶段确保连贯性，第二阶段利用文档事实优化响应），显著提升了上下文连贯性和知识相关性。该模型在自动与人工评估中均显著优于当前最先进基线模型。

ABSTRACT

Document Grounded Conversations is a task to generate dialogue responses when chatting about the content of a given document. Obviously, document knowledge plays a critical role in Document Grounded Conversations, while existing dialogue models do not exploit this kind of knowledge effectively enough. In this paper, we propose a novel Transformer-based architecture for multi-turn document grounded conversations. In particular, we devise an Incremental Transformer to encode multi-turn utterances along with knowledge in related documents. Motivated by the human cognitive process, we design a two-pass decoder (Deliberation Decoder) to improve context coherence and knowledge correctness. Our empirical study on a real-world Document Grounded Dataset proves that responses generated by our model significantly outperform competitive baselines on both context coherence and knowledge relevance.

研究动机与目标

• 为解决在多轮对话系统中有效整合文档级知识的挑战。
• 在现有端到端模型的基础上，进一步提升文档增强型对话中的响应连贯性与知识相关性。
• 模拟人类在撰写响应后利用背景知识进行修改的类认知过程。
• 设计一种统一表示方法，将多轮对话历史与相关文档内容相结合。
• 开发一种两阶段解码机制，分别优化上下文连贯性与知识正确性。

提出的方法

• 设计了一种增量Transformer，利用自注意力与交叉注意力机制，以顺序且上下文感知的方式逐步编码多轮对话与文档知识。
• 深思熟虑解码器采用两阶段架构：第一阶段生成以对话历史连贯性为重点的草稿响应。
• 第二阶段通过关注相关文档知识，对第一阶段输出进行优化，提升事实准确性与相关性。
• 第二阶段解码器直接基于对话上下文与文档表征，对第一阶段结果进行微调。
• 模型使用交叉注意力将话语与相关文档段落对齐，并在解码过程中动态整合知识。
• 增量编码机制使模型能够逐步构建上下文表征，保持跨轮次的长距离依赖关系。

实验结果

研究问题

• RQ1 两阶段解码架构是否能同时提升文档增强型对话生成中的上下文连贯性与知识相关性？
• RQ2 增量编码在整合文档知识的同时，是否能有效捕捉多轮对话上下文？
• RQ3 模仿人类在撰写与修改响应过程中的认知行为，是否能带来更高质量的对话？
• RQ4 所提模型在文档增强型对话基准上，相较于现有基于Transformer的基线模型，性能提升程度如何？
• RQ5 该模型是否能通过主动整合相关知识，为后续对话轮次提供引导？

主要发现

• 在Document Grounded Conversations数据集上，与竞争性基线相比，所提模型在响应连贯性与知识相关性方面均取得显著提升。
• 人工评估确认，该模型生成的响应在上下文一致性方面更优，且更准确地基于文档事实。
• 案例研究显示，两阶段解码机制有效减少了知识错误，第二阶段成功修正了第一阶段产生的事实性错误。
• 第二阶段解码器通过引入比第一阶段更详细、更相关的文档信息，提升了响应质量。
• 在某些情况下，第二阶段响应通过提出基于知识的后续问题，引导了未来对话，表明具备更强的对话意识。
• 该模型展现出强大的泛化能力，其响应不仅准确，而且自然流畅，上下文恰当。