[论文解读] Dynamic Relevance Graph Network for Knowledge-Aware Question Answering

Zheng Chen, Parisa Kordjamshidi|arXiv (Cornell University)|Sep 20, 2022

Topic Modeling被引用 7

一句话总结

该论文提出动态相关性图网络（DRGN），一种图神经网络，能够动态学习知识图谱子图中节点之间的相关性得分，以恢复缺失边并提升常识性问答任务中的多跳推理能力。通过整合问题-节点注意力机制与可学习相关性矩阵，DRGN在CommonsenseQA和OpenbookQA上均实现了最先进性能，在CommonsenseQA上的开发集准确率达到78.2%，该性能通过消融分析驱动的组件优化实现。

ABSTRACT

This work investigates the challenge of learning and reasoning for Commonsense Question Answering given an external source of knowledge in the form of a knowledge graph (KG). We propose a novel graph neural network architecture, called Dynamic Relevance Graph Network (DRGN). DRGN operates on a given KG subgraph based on the question and answers entities and uses the relevance scores between the nodes to establish new edges dynamically for learning node representations in the graph network. This explicit usage of relevance as graph edges has the following advantages, a) the model can exploit the existing relationships, re-scale the node weights, and influence the way the neighborhood nodes' representations are aggregated in the KG subgraph, b) It potentially recovers the missing edges in KG that are needed for reasoning. Moreover, as a byproduct, our model improves handling the negative questions due to considering the relevance between the question node and the graph entities. Our proposed approach shows competitive performance on two QA benchmarks, CommonsenseQA and OpenbookQA, compared to the state-of-the-art published results.

研究动机与目标

• 解决用于常识性问答的知识图谱子图中缺失或不完整边的挑战。
• 在知识图谱缺乏相关实体之间直接连接时，提升对多跳路径的推理能力。
• 通过建模问题与图实体之间的相关性，更好地将问题语义（尤其是否定）融入基于图的推理过程。
• 开发一种动态图神经网络架构，能够在训练过程中基于节点表示的相关性动态学习并调整边连接。
• 在CommonsenseQA和OpenbookQA等基准问答数据集上实现具有竞争力的性能，同时提升对否定问题的鲁棒性。

提出的方法

• DRGN基于问题和外部知识构建知识图谱子图，将问题节点作为中心实体。
• 通过计算当前层表示的内积，动态计算所有节点对之间的相关性得分，每层GNN均形成一个相关性矩阵。
• 利用相关性矩阵对邻居信息聚合进行重新加权，实现在消息传递过程中动态创建边，从而恢复缺失或间接连接。
• 模型整合知识图谱子图中的多种关系类型，并使用关系型GNN主干网络（R-GCN）以保留结构信息。
• 将问题节点进行嵌入并连接至所有实体，使模型能够关注问题与潜在答案候选之间的语义相关性。
• 通过在多层GNN之后对更新后的节点表示应用分类器，最终预测答案。

实验结果

研究问题

• RQ1 图神经网络能否动态恢复知识图谱子图中的缺失边，以提升问答任务中的多跳推理能力？
• RQ2 在需要考虑否定的否定性问题中，引入问题-实体相关性如何提升模型性能？
• RQ3 与静态图结构相比，可学习的相关性矩阵在多大程度上提升了节点表示学习能力？
• RQ4 动态相关性机制是否在知识感知型问答任务中优于静态或固定边的图神经网络？
• RQ5 DRGN的各个组件（如问题节点、关系边、动态相关性）对整体性能的贡献如何？

主要发现

• DRGN在CommonsenseQA基准测试中达到78.2%的开发集准确率，显著优于消融变体。
• 消融实验表明，添加动态相关性矩阵带来的性能提升最大（从74.9%提升至78.2%），证明其关键作用。
• 在图中引入问题节点使性能从73.7%提升至74.9%，证实显式建模问题-实体相关性具有价值。
• 模型在OpenbookQA上也保持了具有竞争力的性能，表明其在单一基准之外具备良好的泛化能力。
• 随着GNN层数增加至四层，性能持续提升，表明结合动态相关性的深层消息传递具有优势。
• DRGN的时间复杂度与基线模型（如MHGRN）相当，而空间复杂度略高，主要由于动态相关性矩阵的引入，但性能增益使其合理。