[论文解读] Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering

Shangwen Lv, Daya Guo+8 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 29被引用 21

一句话总结

该论文提出了一种基于图的推理框架，通过联合利用ConceptNet中的结构化知识和Wikipedia中的非结构化文本，以提升常识性问答性能。通过构建异质知识图谱并采用带有图注意力机制的图卷积网络，该模型在CommonsenseQA数据集上实现了75.3%的最先进准确率，证明了通过结构化图推理整合多种知识源的有效性。

ABSTRACT

Commonsense question answering aims to answer questions which require background knowledge that is not explicitly expressed in the question. The key challenge is how to obtain evidence from external knowledge and make predictions based on the evidence. Recent works either learn to generate evidence from human-annotated evidence which is expensive to collect, or extract evidence from either structured or unstructured knowledge bases which fails to take advantages of both sources. In this work, we propose to automatically extract evidence from heterogeneous knowledge sources, and answer questions based on the extracted evidence. Specifically, we extract evidence from both structured knowledge base (i.e. ConceptNet) and Wikipedia plain texts. We construct graphs for both sources to obtain the relational structures of evidence. Based on these graphs, we propose a graph-based approach consisting of a graph-based contextual word representation learning module and a graph-based inference module. The first module utilizes graph structural information to re-define the distance between words for learning better contextual word representations. The second module adopts graph convolutional network to encode neighbor information into the representations of nodes, and aggregates evidence with graph attention mechanism for predicting the final answer. Experimental results on CommonsenseQA dataset illustrate that our graph-based approach over both knowledge sources brings improvement over strong baselines. Our approach achieves the state-of-the-art accuracy (75.3%) on the CommonsenseQA leaderboard.

研究动机与目标

• 为解决常识性问答挑战，通过自动从异质知识源中提取证据。
• 通过联合利用结构化知识（ConceptNet）和非结构化文本（Wikipedia）来提升推理性能。
• 开发一种基于图的表征与推理框架，以捕捉关系结构并支持证据聚合。
• 证明通过图推理结合多种知识源可获得优于单一来源或非图基线方法的性能。

提出的方法

• 使用语义角色标注（SRL）从ConceptNet中提取图路径，从Wikipedia中提取三元组，以构建知识图谱。
• 设计一种基于图的上下文词表征学习模块，利用图结构信息重新定义词之间的距离。
• 应用图卷积网络（GCN）将邻域信息编码到节点表征中。
• 集成图注意力机制，从多个节点聚合证据以进行最终答案预测。
• 以XLNet作为主干语言模型，并在CommonsenseQA数据集上端到端微调整个系统。
• 构建异质图，其中节点表示概念，边表示来自两个来源的关系，支持多跳推理。

实验结果

研究问题

• RQ1 联合利用结构化与非结构化知识源是否能提升常识性问答性能？
• RQ2 在知识推理背景下，基于图的表征学习如何增强上下文词表征？
• RQ3 与非图方法或无注意力机制的方法相比，图注意力在证据聚合方面有多大的提升作用？
• RQ4 同时整合ConceptNet和Wikipedia知识是否优于单独使用任一来源？

主要发现

• 所提模型在CommonsenseQA基准上实现了75.3%的最先进准确率，优于强基线模型。
• 基于图的上下文表征学习模块通过更好地捕捉知识图谱中的关系依赖，提升了性能。
• 结合GCN与图注意力的图推理模块显著提升了推理准确率，通过聚合多跳证据实现。
• 结合来自ConceptNet和Wikipedia的证据可带来进一步性能增益，证明异质知识源具有互补性。
• 错误分析显示，38%的错误源于模糊或过于相似的证据，表明通过更丰富的知识源或更优的消歧方法仍有改进空间。