[论文解读] Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs

Houyu Zhang, Zhenghao Liu+2 more|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 49被引用 11

一句话总结

本文提出 ConceptFlow，一种基于知识图谱的对话生成模型，将对话建模为在常识知识图谱中的引导式遍历，利用图注意力机制导航多跳概念转移。该模型在 Reddit 对话数据集上实现了 SOTA 性能，参数量仅为 GPT-2 的 30%，通过显式建模超越即时上下文的概念流动，生成更具信息量、多样性与主题相关性的回复。

ABSTRACT

Human conversations naturally evolve around related concepts and scatter to multi-hop concepts. This paper presents a new conversation generation model, ConceptFlow, which leverages commonsense knowledge graphs to explicitly model conversation flows. By grounding conversations to the concept space, ConceptFlow represents the potential conversation flow as traverses in the concept space along commonsense relations. The traverse is guided by graph attentions in the concept graph, moving towards more meaningful directions in the concept space, in order to generate more semantic and informative responses. Experiments on Reddit conversations demonstrate ConceptFlow's effectiveness over previous knowledge-aware conversation models and GPT-2 based models while using 70% fewer parameters, confirming the advantage of explicit modeling conversation structures. All source codes of this work are available at https://github.com/thunlp/ConceptFlow.

研究动机与目标

• 为解决神经对话模型中重复且偏离主题的回复问题，通过结构化知识实现对话的接地化。
• 建模人类对话中自然发生的概念转移，即主题通过相关但相距较远的概念逐步演变。
• 通过在常识知识图谱中显式遍历多跳路径，提升回复的多样性与信息量。
• 在保持或超越性能的前提下，相比 GPT-2 等大型自回归模型，实现更高的参数效率。

提出的方法

• ConceptFlow 将对话生成建模为从输入中已接地概念出发，在常识知识图谱中的引导式遍历。
• 利用图注意力机制动态关注相关概念，引导遍历在概念空间中朝语义上有意义的方向推进。
• 模型通过同时关注零跳（即时）和多跳（远距离）概念来学习生成回复，并通过剪枝步骤筛选高质量概念。
• 门控机制（$\sigma^*$）在解码过程中过滤低相关性概念，聚焦于主题相关概念。
• 图注意力机制计算注意力分数（$\beta^{e_i}$, $\gamma^f$），以确定每个概念在遍历路径中的重要性。
• 模型通过最大化真实回复的似然性进行训练，同时通过多跳遍历鼓励覆盖远距离但相关联的概念。

实验结果

研究问题

• RQ1 将对话建模为在常识知识图谱中的引导式遍历，是否能相比静态知识集成方式，提升回复质量与多样性？
• RQ2 多跳概念遍历如何影响生成回复的信息量与主题相关性？
• RQ3 图注意力机制在多大程度上帮助模型选择有意义的概念转移？
• RQ4 显式建模概念流动是否能带来相比 GPT-2 等大型自回归模型更高的参数效率？

主要发现

• 在 Reddit 对话数据集上，ConceptFlow 在自动评估与人工评估中均优于 seq2seq 模型及先前的知识感知模型。
• 采用两跳概念遍历可实现 61% 的黄金概念召回率，三跳时提升至 81%，证实了多跳推理的价值。
• 与 CCM 和 GPT-2 相比，ConceptFlow 生成的回复更具信息量且重复性更低，案例研究显示其能有效利用输入之外的概念（如 'sound' 和 'check'）。
• 模型在仅使用 GPT-2 微调参数量 30% 的情况下实现更优性能，证明了其极高的参数效率。
• 图注意力机制有效优先关注黄金概念与零跳概念，对相关两跳概念也赋予更高注意力，证实了模型引导有意义遍历的能力。
• 人工评估确认，与基线模型相比，ConceptFlow 生成的回复更具相关性与信息量，尤其在整合远距离但相关概念方面表现更优。