[论文解读] Improving Background Based Conversation with Context-aware Knowledge Pre-selection

Yushuang Zhang, Pengjie Ren+1 more|arXiv (Cornell University)|Jun 16, 2019

Speech and dialogue systems参考文献 21被引用 17

一句话总结

本文提出上下文感知知识预选择（CaKe），一种基于生成的背景对话模型，通过使用话语历史作为动态查询，利用双向注意力机制预先筛选相关背景知识，从而提升知识选择效果。CaKe在流畅性和信息量方面显著优于当前最先进基线模型，生成的回应比GTTP更自然、更相关，同时避免了抽取式方法常见的不自然问题。

ABSTRACT

Background Based Conversations (BBCs) have been developed to make dialogue systems generate more informative and natural responses by leveraging background knowledge. Existing methods for BBCs can be grouped into two categories: extraction-based methods and generation-based methods. The former extract spans frombackground material as responses that are not necessarily natural. The latter generate responses thatare natural but not necessarily effective in leveraging background knowledge. In this paper, we focus on generation-based methods and propose a model, namely Context-aware Knowledge Pre-selection (CaKe), which introduces a pre-selection process that uses dynamic bi-directional attention to improve knowledge selection by using the utterance history context as prior information to select the most relevant background material. Experimental results show that our model is superior to current state-of-the-art baselines, indicating that it benefits from the pre-selection process, thus improving in-formativeness and fluency.

研究动机与目标

• 为解决生成式对话系统在有效利用背景知识方面的局限性。
• 通过将对话历史作为先验查询整合到知识选择中，提升回应的流畅性与信息量。
• 减少对直接抽取背景片段的依赖，后者常导致回应不自然。
• 开发一种预选择机制，在生成回应前提升知识的相关性。
• 在开放域对话系统中平衡信息量与自然性。

提出的方法

• 引入一种上下文感知的知识预选择模块，利用话语历史编码器状态作为查询，识别相关背景知识。
• 采用改进的双向注意力机制（受BiDAF启发），计算上下文到背景和背景到上下文的注意力，实现精确的粒度级别相关性评分。
• 应用动态双向注意力机制，定位长背景文本序列中最相关的片段。
• 将预选择的知识整合到序列到序列生成框架中，用于生成回应。
• 采用具有注意力机制的层次编码器-解码器架构，生成流畅且上下文相关的回应。
• 不仅将话语历史上下文用于生成，还用作知识选择的先验，缓解长序列中的信息衰减问题。

实验结果

研究问题

• RQ1 将对话历史作为查询是否能提升背景对话中的知识选择效果？
• RQ2 在生成前预选择相关知识是否能带来更信息丰富且更流畅的回应？
• RQ3 CaKe在知识利用效率和回应质量方面与当前最先进生成式及抽取式模型相比如何？
• RQ4 预选择机制在多大程度上降低了选择无关或脱离上下文背景知识的风险？
• RQ5 上下文感知的预选择能否缓解长对话历史中的信息衰减问题？

主要发现

• CaKe在流畅性和信息量方面显著优于当前最先进生成式基线模型GTTP。
• 与BiDAF（抽取式方法）相比，CaKe生成的回应更自然，同时仍保持了较强的知识对齐性。
• 注意力权重可视化结果表明，CaKe的上下文到背景注意力能有效突出背景文本中的相关词元，例如第二个示例中的单词‘fun’。
• 预选择机制通过利用完整对话上下文作为查询，显著提升了长背景文本中的知识选择准确性。
• 尽管有所改进，CaKe偶尔仍会生成如‘I agree’或‘I know’等通用短语，表明需进一步提升回应多样性。
• 随着背景文本变长，预选择模块的性能下降，表明其在可扩展性方面存在局限。