[论文解读] Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs

Zhibin Liu, Zheng-Yu Niu+2 more|arXiv (Cornell University)|Mar 25, 2019

Topic Modeling参考文献 26被引用 11

一句话总结

本文提出 AKGCM，一种知识感知对话系统，通过将事实性知识三元组与非事实性文本整合到增强的知识图谱中，实现在开放域对话中的可解释性、多跳推理。通过结合基于强化学习的图推理与机器阅读理解技术以利用长文本顶点，该模型在两个基准测试上实现了最先进性能，并提升了可解释性。

ABSTRACT

Two types of knowledge, triples from knowledge graphs and texts from documents, have been studied for knowledge aware open-domain conversation generation, in which graph paths can narrow down vertex candidates for knowledge selection decision, and texts can provide rich information for response generation. Fusion of a knowledge graph and texts might yield mutually reinforcing advantages, but there is less study on that. To address this challenge, we propose a knowledge aware chatting machine with three components, an augmented knowledge graph with both triples and texts, knowledge selector, and knowledge aware response generator. For knowledge selection on the graph, we formulate it as a problem of multi-hop graph reasoning to effectively capture conversation flow, which is more explainable and flexible in comparison with previous work. To fully leverage long text information that differentiates our graph from others, we improve a state of the art reasoning algorithm with machine reading comprehension technology. We demonstrate the effectiveness of our system on two datasets in comparison with state-of-the-art models.

研究动机与目标

• 解决现有知识感知对话系统仅孤立依赖结构化三元组或非结构化文本的局限性。
• 通过在增强知识图谱上实现可追溯的多跳推理路径，提升模型可解释性。
• 通过充分利用嵌入在图顶点中的长篇文本知识，提升响应生成质量。
• 证明将机器阅读理解与图推理结合用于对话中知识选择的有效性。

提出的方法

• 通过将非结构化文本（如电影评论、描述性语句）与事实性知识图谱中的实体对齐，构建增强知识图谱，以长篇文本丰富顶点。
• 将知识选择问题建模为多跳图推理问题，采用深度强化学习智能体（受 MINERVA 启发）遍历图并选择相关知识。
• 通过机器阅读理解（MRC）技术增强推理过程，实现输入话语与候选知识顶点之间的细粒度语义匹配。
• 使用双线性注意力机制建模输入消息与知识文本内容之间的交互，以提高选择准确性。
• 采用编码器-解码器架构，基于图中选择的知识生成响应。
• 实施两阶段流程：首先通过图推理进行知识选择，随后利用所选知识生成响应。

实验结果

研究问题

• RQ1 将非结构化文本整合到知识图谱中是否能提升开放域对话系统中的响应质量？
• RQ2 与黑箱注意力机制相比，基于增强知识图谱的多跳图推理在多大程度上提升了模型可解释性？
• RQ3 当顶点包含长篇文本时，引入机器阅读理解在多大程度上改善了知识选择？
• RQ4 在低资源设置下，所提出系统是否比强基线模型泛化能力更强？
• RQ5 该模型能否学习到上下文敏感的推理模式（例如，针对意见类查询选择评论类顶点）？

主要发现

• 完整版 AKGCM 模型在两个开放域对话数据集上达到最先进性能，BLEU 和 ROUGE 分数均优于现有模型。
• 从增强图中移除非事实性知识导致性能显著下降，证实长篇文本知识在响应生成中的关键作用。
• 消融实验表明，MRC 组件与双线性注意力机制均对知识选择准确性有显著贡献，任一组件移除后性能均明显下降。
• 在低资源条件下，AKGCM 比最强基线模型（BiDAF+G）泛化能力更强，即使仅使用 10% 的训练数据，仍能保持可接受性能。
• 该模型学习到上下文感知的推理模式，例如在意见类查询中选择评论类顶点，体现出可解释性与适应性。
• 推理过程中遍历的图路径具有语义意义，且与对话流程一致，验证了系统的可解释性。