[论文解读] Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph

Haozhe Ji, Pei Ke+4 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 36被引用 5

一句话总结

本文提出GRF，一种新颖的文本生成模型，通过在常识知识图谱上进行动态多跳推理，以显式、基于事实的方式增强生成结果。通过利用多关系路径中的结构与语义信息，GRF在故事结尾生成、溯因推理和解释生成任务上均优于强基线模型，通过学习到的推理路径实现了更优的事实一致性与可解释性。

ABSTRACT

Despite the success of generative pre-trained language models on a series of text generation tasks, they still suffer in cases where reasoning over underlying commonsense knowledge is required during generation. Existing approaches that integrate commonsense knowledge into generative pre-trained language models simply transfer relational knowledge by post-training on individual knowledge triples while ignoring rich connections within the knowledge graph. We argue that exploiting both the structural and semantic information of the knowledge graph facilitates commonsense-aware text generation. In this paper, we propose Generation with Multi-Hop Reasoning Flow (GRF) that enables pre-trained models with dynamic multi-hop reasoning on multi-relational paths extracted from the external commonsense knowledge graph. We empirically show that our model outperforms existing baselines on three text generation tasks that require reasoning over commonsense knowledge. We also demonstrate the effectiveness of the dynamic multi-hop reasoning module with reasoning paths inferred by the model that provide rationale to the generation.

研究动机与目标

• 为解决预训练语言模型在生成需要基于隐含常识知识推理的文本时的局限性。
• 克服现有方法将常识知识视为孤立三元组的不足，忽略了知识图谱中的结构关联。
• 开发一种动态多跳推理机制，沿关系路径聚合证据，实现基于事实的概念生成。
• 通过将结构化知识图谱推理与预训练语言模型相结合，提升文本生成的事实一致性与可解释性。

提出的方法

• 模型使用非参数化组合操作对多关系知识图谱进行编码，生成对概念与关系具有图感知能力的表征。
• 动态多跳推理模块沿多条关系路径聚合证据，基于上下文相关性与路径合理性对节点进行评分。
• 该模块采用由超参数γ控制的可学习门控机制，平衡局部与长程证据传播，防止路径过度平滑或利用不足。
• 生成头通过门控机制结合知识图谱中的复制概率与词汇词表概率，实现精确的概念选择。
• 模型在三个常识感知的文本生成任务上进行端到端微调：故事结尾生成、溯因推理生成与解释生成。
• 通过可视化推理路径，展示模型如何通过多跳证据链选择关键概念，体现其可解释性。

实验结果

研究问题

• RQ1 与单三元组或无知识基线相比，基于结构化常识知识图谱的多跳推理是否能提升文本生成的事实一致性？
• RQ2 沿关系路径的动态证据聚合如何影响模型生成上下文与语义上合理概念的能力？
• RQ3 在训练数据有限的情况下，整合知识图谱的结构化知识在多大程度上提升了模型的泛化能力？
• RQ4 模型的推理路径能否被解释为生成决策的合理论证？
• RQ5 性能对多跳推理模块信息流机制设计的敏感程度如何？

主要发现

• GRF在三个常识感知的文本生成任务上均优于强基线模型，包括在纯文本数据上微调的GPT-2以及在OMCS三元组上继续预训练的GPT-2。
• 无论训练数据规模如何，模型均表现出一致的性能提升，证明了知识图谱集成带来的泛化能力增强。
• 多跳推理模块中γ ≈ 0.5时性能最优，表明局部与长程证据利用达到最佳平衡。
• 案例研究显示，GRF能生成更具体、更符合上下文的概念（如“晕船”或“由玉米制成”），而基线模型则常输出泛化或错误的概念。
• 可视化推理路径表明，模型能基于上下文线索与关系合理性，选择合理的中间概念（如“玩”作为“小狗”与“领养”之间的动词）。
• 人工评估确认GRF生成结果更具事实依据且语义连贯，其推理路径为关键生成决策提供了可解释的论证。