[论文解读] Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering

Jian Wang, Junhao Liu+5 more|arXiv (Cornell University)|Dec 16, 2019

Topic Modeling参考文献 28被引用 5

一句话总结

本文提出 TransDG，一种知识感知的对话生成模型，通过将知识库问答（KBQA）中的问题理解与知识选择能力迁移至开放域对话中，以提升事实连贯性。通过整合预训练的 KBQA 模型、响应引导注意力机制以及多步解码策略，TransDG 生成的回复更具信息量且上下文更准确，在基准数据集上的 BLEU 和实体相关性得分显著优于先前方法。

ABSTRACT

Neural network models usually suffer from the challenge of incorporating commonsense knowledge into the open-domain dialogue systems. In this paper, we propose a novel knowledge-aware dialogue generation model (called TransDG), which transfers question representation and knowledge matching abilities from knowledge base question answering (KBQA) task to facilitate the utterance understanding and factual knowledge selection for dialogue generation. In addition, we propose a response guiding attention and a multi-step decoding strategy to steer our model to focus on relevant features for response generation. Experiments on two benchmark datasets demonstrate that our model has robust superiority over compared methods in generating informative and fluent dialogues. Our code is available at https://github.com/siat-nlp/TransDG.

研究动机与目标

• 为解决在开放域对话系统中融入常识知识的挑战，现有模型常生成流畅但事实性较浅的回复。
• 通过将 KBQA 中的问题表征与知识匹配能力迁移至对话生成中，提升话语理解与事实知识选择能力，从而改善对话回复质量。
• 通过引入多步解码策略，缓解自回归解码中缺乏全局上下文的问题，使回复与相关知识及最终输出更紧密关联。
• 通过响应引导注意力机制，利用 top-k 相似回复候选进行蒸馏，增强生成过程中的特征聚焦能力。
• 证明从 KBQA 进行知识迁移可显著提升生成对话的信息量与事实准确性。

提出的方法

• 使用问题编码层和候选答案编码层预训练 KBQA 模型，并引入知识选择层从知识库中检索相关事实。
• 将预训练 KBQA 模型中的问题表征与知识选择模块迁移至对话编码器与解码器中，以提升对话轮次的理解与事实检索能力。
• 引入响应引导注意力机制，利用与当前对话轮次相似的 top-k 回复候选，蒸馏出相关特征并引导模型在生成过程中的注意力焦点。
• 实施两步解码策略：第一解码器基于相关 KB 事实生成草稿回复，第二解码器结合第一步的上下文与额外的知识匹配对草稿进行优化。
• 采用门控循环单元（GRUs）进行序列编码，并通过 KBQA 提供的增强问题表征，提升对话轮次中实体与关系的感知能力。
• 在对话数据集上端到端微调整个模型，优化困惑度、BLEU 分数与实体相关性。

实验结果

研究问题

• RQ1 能否通过从 KBQA 迁移问题表征与知识选择能力，提升对话生成中的事实知识整合？
• RQ2 多步解码策略在知识连贯性方面如何增强输入对话轮次与生成回复之间的关联？
• RQ3 响应引导注意力机制在多大程度上提升了生成回复的相关性与信息量？
• RQ4 各组件（KBQA 迁移、多步解码、响应引导）对整体对话质量的贡献如何？
• RQ5 与直接知识库检索相比，利用预训练的 KBQA 能力是否能显著提升知识感知对话生成？

主要发现

• TransDG 的困惑度为 37.53，显著低于未迁移问题表征的消融模型（w/o QRT: 42.17），表明序列建模能力更优。
• 实体得分为 1.207，优于未使用知识选择的消融模型（w/o KST: 0.774），证明事实知识利用能力得到提升。
• BLEU-1 得分为 0.1807，BLEU-2 得分为 0.0178，显示与参考回复具有良好的流畅性与 n-gram 对齐度。
• 消融实验表明，移除 KBQA 迁移模块（QRT 与 KST）导致性能下降最大，证明其在知识整合中的关键作用。
• 与 w/o RGA 变体相比，响应引导注意力机制使 BLEU-1 提升 0.0103，证明其在聚焦相关特征方面的有效性。
• 多步解码策略（w/o SSD）的 BLEU-1 得分为 0.1804，几乎与完整模型持平，表明其对回复质量有显著贡献。