[论文解读] Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever

Libo Qin, Yijia Liu+4 more|arXiv (Cornell University)|Sep 15, 2019

Topic Modeling参考文献 25被引用 7

一句话总结

该论文提出了一种两步知识库检索框架，用于端到端任务导向对话系统，以提升实体一致性。通过首先使用记忆网络检索最相关的知识库行，然后关注最相关的知识库列，模型在生成响应时过滤了不相关的实体，显著减少了冲突的实体生成。该方法在自动评估和人工评估中均优于基线模型，尤其在正确性和一致性方面表现突出。

ABSTRACT

Querying the knowledge base (KB) has long been a challenge in the end-to-end task-oriented dialogue system. Previous sequence-to-sequence (Seq2Seq) dialogue generation work treats the KB query as an attention over the entire KB, without the guarantee that the generated entities are consistent with each other. In this paper, we propose a novel framework which queries the KB in two steps to improve the consistency of generated entities. In the first step, inspired by the observation that a response can usually be supported by a single KB row, we introduce a KB retrieval component which explicitly returns the most relevant KB row given a dialogue history. The retrieval result is further used to filter the irrelevant entities in a Seq2Seq response generation model to improve the consistency among the output entities. In the second step, we further perform the attention mechanism to address the most correlated KB column. Two methods are proposed to make the training feasible without labeled retrieval data, which include distant supervision and Gumbel-Softmax technique. Experiments on two publicly available task oriented dialog datasets show the effectiveness of our model by outperforming the baseline systems and producing entity-consistent responses.

研究动机与目标

• 为解决使用整个知识库注意力机制的端到端任务导向对话系统中实体一致性不足的问题。
• 通过基于对话历史显式检索最相关知识库行，改进响应生成。
• 通过在序列生成过程中利用检索到的行来过滤不相关的知识库实体，提升实体一致性。
• 通过远程监督和Gumbel-Softmax，实现无需标注检索数据的检索器训练。
• 验证大多数响应可由单个知识库行支持，从而证明两步检索方法的合理性。

提出的方法

• 引入一个知识库检索模块，利用记忆网络从对话历史中选择最相关的知识库行。
• 利用检索到的知识库行在序列到序列响应生成模型中过滤不相关的实体，提升实体一致性。
• 采用列级别注意力机制，选择与实体生成最相关的知识库列。
• 使用启发式方法进行远程监督，生成弱标签检索训练数据。
• 利用Gumbel-Softmax对检索器中不可微的选择过程进行可微分近似。
• 引入复制机制，直接从检索到的知识库行和列中生成实体。

实验结果

研究问题

• RQ1 两步知识库检索过程能否提升端到端任务导向对话系统中的实体一致性？
• RQ2 是否可以合理假设大多数对话响应由单个知识库行支持？
• RQ3 能否在无手动标注检索标签的情况下有效训练知识库检索器？
• RQ4 通过检索到的知识库行过滤不相关实体，是否能带来更好的响应一致性和正确性？
• RQ5 远程监督与Gumbel-Softmax在训练知识库检索器方面有何对比表现？

主要发现

• 所提出的框架在自动评估和人工评估中均优于基线模型，在InCar数据集上使用Gumbel-Softmax时的一致性得分为72.1%。
• 人工评估显示，与基线相比，正确性（4.64/5）和流畅性（4.73/5）均有显著提升。
• 数据集中超过80%的响应可由单个知识库行支持，验证了该方法的核心假设。
• 使用Gumbel-Softmax训练的知识库检索器性能优于远程监督基线。
• 可视化结果证实，当生成实体200_Alester_Ave时，模型正确地关注了第4行和第1列知识库行与列。