[论文解读] Flexible End-to-End Dialogue System for Knowledge Grounded Conversation

Wenya Zhu, Kaixiang Mo+4 more|arXiv (Cornell University)|Sep 13, 2017

Topic Modeling参考文献 15被引用 88

一句话总结

GenDS 是一个完全数据驱动的端到端对话模型，能够通过使用动态知识查询器和知识门来将结构化知识库整合到生成中，生成包含任意数量知识实体的回答，包括未见实体。

ABSTRACT

In knowledge grounded conversation, domain knowledge plays an important role in a special domain such as Music. The response of knowledge grounded conversation might contain multiple answer entities or no entity at all. Although existing generative question answering (QA) systems can be applied to knowledge grounded conversation, they either have at most one entity in a response or cannot deal with out-of-vocabulary entities. We propose a fully data-driven generative dialogue system GenDS that is capable of generating responses based on input message and related knowledge base (KB). To generate arbitrary number of answer entities even when these entities never appear in the training set, we design a dynamic knowledge enquirer which selects different answer entities at different positions in a single response, according to different local context. It does not rely on the representations of entities, enabling our model deal with out-of-vocabulary entities. We collect a human-human conversation data (ConversMusic) with knowledge annotations. The proposed method is evaluated on CoversMusic and a public question answering dataset. Our proposed GenDS system outperforms baseline methods significantly in terms of the BLEU, entity accuracy, entity recall and human evaluation. Moreover,the experiments also demonstrate that GenDS works better even on small datasets.

研究动机与目标

• 在先前的问答/对话系统中，推动超越单一实体或词汇表外限的知识驱动对话。
• 提出一个完全数据驱动的生成器，使用结构化知识库来生成具有任意数量实体的回答。
• 引入一个动态知识查询器，根据局部和全局上下文选择并合并多个实体。
• 开发并发布 ConversMusic，作为面向知识驱动音乐对话的真实世界数据集。
• 在 MusicConvers 和 MusicQA 数据集上，展示相较基线在 BLEU、实体准确率和实体召回方面的提升。

提出的方法

• 三组件 GenDS 框架：候选事实检索器、消息编码器和回复解码器。
• 一个知识门 z_t 在每一步决定是生成普通词还是实体词。
• 一个动态知识查询器使用三个分数对候选实体进行排序（消息匹配 r_e、实体更新 f_t 和实体类型更新 u_k）；最终实体概率 p_e(y_t=et) 通过逐元素乘积将 r、f、u 结合起来。
• 实体类型替代显式实体嵌入以处理词汇表外的实体，从而能够生成未见的知识词语。
• 多任务训练通过联合训练标准的 Seq2Seq 风格任务和面向实体类型的变体，将流畅的语言生成与正确的实体对地对齐。

实验结果

研究问题

• RQ1 一个完全数据驱动的模型是否能够生成包含任意数量知识实体的回答，包括训练中未见的实体？
• RQ2 与固定或静态生成相比，动态知识查询器是否提高实体正确性和多样性？
• RQ3 在音乐领域对话任务中，结构化知识库的对地对 BLEU、实体准确率和人工评估有何影响？

主要发现

• GenDS 在 MusicConvers 和 MusicQA 上实现了更高的 BLEU，并在实体准确性和召回率方面显著高于基线。
• GenDS 在与实体相关的指标上优于 S2SA、GenQA 和 GenQAD，展示了对外部知识的更好对地。
• 动态知识查询器使在单个回答中生成多个且未见的实体成为可能。
• GenDS 展示了在提高事实对地的同时维持流畅性的能力（通过多任务训练）。