[论文解读] JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

Yueqing Sun, Qi Shi+2 more|arXiv (Cornell University)|Dec 6, 2021

Topic Modeling被引用 8

一句话总结

JointLK 提出了一种联合推理框架，通过密集的双向注意力动态融合语言模型（LM）与知识图谱（KG）表征，实现多步交互和对无关 KG 节点的递归剪枝。该方法在 CommonsenseQA 和 OpenBookQA 上实现了最先进性能，通过细粒度融合与噪声减少，提升了推理准确率与可解释性。

ABSTRACT

Existing KG-augmented models for commonsense question answering primarily focus on designing elaborate Graph Neural Networks (GNNs) to model knowledge graphs (KGs). However, they ignore (i) the effectively fusing and reasoning over question context representations and the KG representations, and (ii) automatically selecting relevant nodes from the noisy KGs during reasoning. In this paper, we propose a novel model, JointLK, which solves the above limitations through the joint reasoning of LM and GNN and the dynamic KGs pruning mechanism. Specifically, JointLK performs joint reasoning between LM and GNN through a novel dense bidirectional attention module, in which each question token attends on KG nodes and each KG node attends on question tokens, and the two modal representations fuse and update mutually by multi-step interactions. Then, the dynamic pruning module uses the attention weights generated by joint reasoning to prune irrelevant KG nodes recursively. We evaluate JointLK on the CommonsenseQA and OpenBookQA datasets, and demonstrate its improvements to the existing LM and LM+KG models, as well as its capability to perform interpretable reasoning.

研究动机与目标

• 为解决现有 KG 增强型 QA 模型中语言模型与知识图谱之间交互有限的问题。
• 克服在推理过程中检索到的知识子图中存在噪声和无关节点的挑战。
• 实现问题上下文与 KG 表征之间细粒度的多步融合，以提升推理能力。
• 开发一种动态剪枝机制，基于联合推理中的注意力权重递归移除无关节点。
• 在复杂 QA 场景（包括否定和多实体问题）中实现更准确、更具可解释性的常识推理。

提出的方法

• JointLK 使用一个联合推理模块，其中包含密集的双向注意力机制，使每个问题 token 能够关注 KG 节点，同时每个 KG 节点也能关注问题 token，从而实现相互表征更新。
• 通过堆叠多个 JointLK 层，支持语言与知识表征之间的分层多步交互。
• 动态图剪枝模块递归地从联合推理过程中移除注意力权重较低的 KG 节点，减少噪声并聚焦于相关证据。
• 该框架整合了预训练语言模型用于问题编码，以及图神经网络（GNN）用于知识图谱编码，随后进行跨模态融合。
• 在联合推理过程中生成的注意力权重，同时指导表征优化与剪枝决策。
• 最终预测为一个标量合理性得分，由多层交互与剪枝后的融合表征计算得出。

实验结果

研究问题

• RQ1 语言模型与知识图谱之间的联合推理是否能够超越单一模态建模，在常识问答中实现性能提升？
• RQ2 在推理过程中，如何有效识别并移除噪声知识子图中的无关节点，以提升模型鲁棒性？
• RQ3 问题与 KG 表征之间多步、双向交互在处理含否定或多个实体的复杂问题时，能在多大程度上提升推理能力？
• RQ4 联合推理中的注意力机制是否能提供可解释的证据路径，以增强模型预测的透明度？
• RQ5 与静态子图建模相比，KG 节点的动态剪枝是否能带来更准确、更聚焦的推理？

主要发现

• JointLK 在 CommonsenseQA 和 OpenBookQA 上实现了最先进性能，优于独立的语言模型以及现有的 LM+KG 方法。
• 由于更深层次的跨模态交互，该模型在复杂推理任务（如含否定或多个实体的问题）中表现出色。
• 动态剪枝通过基于注意力权重递归移除无关节点，有效减少了知识子图中的噪声，提升了推理聚焦度。
• 联合推理过程中生成的注意力图提供了可解释的证据路径，增强了模型的透明度与可追溯性。
• 错误分析显示，缺少关键知识和选项模糊是主要的失败模式，凸显了构建更完整、更具上下文感知能力的知识库的必要性。
• 消融实验确认，联合推理与动态剪枝均为关键组件，移除任一均导致性能显著下降。