[论文解读] KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning

Bill Yuchen Lin, Xinyue Chen+2 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling参考文献 36被引用 32

一句话总结

KagNet 将 QA 对 grounding 到外部知识图（ConceptNet），使用 GCN-LSTM-HPA 模块对架构图进行编码，并通过提供可解释的路径级和概念级注意力，在 CommonsenseQA 上取得最先进的结果。

ABSTRACT

Commonsense reasoning aims to empower machines with the human ability to make presumptions about ordinary situations in our daily life. In this paper, we propose a textual inference framework for answering commonsense questions, which effectively utilizes external, structured commonsense knowledge graphs to perform explainable inferences. The framework first grounds a question-answer pair from the semantic space to the knowledge-based symbolic space as a schema graph, a related sub-graph of external knowledge graphs. It represents schema graphs with a novel knowledge-aware graph network module named KagNet, and finally scores answers with graph representations. Our model is based on graph convolutional networks and LSTMs, with a hierarchical path-based attention mechanism. The intermediate attention scores make it transparent and interpretable, which thus produce trustworthy inferences. Using ConceptNet as the only external resource for Bert-based models, we achieved state-of-the-art performance on the CommonsenseQA, a large-scale dataset for commonsense reasoning.

研究动机与目标

• 通过利用外部知识图实现明确、可解释的推理，激发并使机器具备常识推理能力。

提出的方法

• 将 QA 对 grounding 为 ConceptNet 中表示相关知识的模式图。
• 用 GCN-LSTM-HPA 架构对模式图进行编码，以捕获多跳关系信息。
• 使用分层路径基注意力机制对路径和概念对进行加权，以进行可信度评分。
• 将模式图关系表示与语言编码器特征结合，通过神经评分器计算可信度分数。
• 开源 KagNet 实现，以促进知识感知常识推理研究。

实验结果

研究问题

• RQ1 外部、结构化的知识图是否能提升常识问答的性能与可解释性？
• RQ2 基于图的模块如何有效建模问题与答案概念之间的关系路径？
• RQ3 将 QA 对 grounding 到知识图并应用分层注意力是否能产生透明的推断和更高的准确性？
• RQ4 以 ConceptNet 作为唯一外部资源并结合预训练语言编码器对 CommonsenseQA 的影响？

主要发现

• 在使用官方分割时，相较于忽略知识的基线和许多知识感知基线，在 CommonsenseQA 上实现了最先进的结果。
• KagNet 在不同数据情境下，相较于非 KagNet 的语言基线，提供了更高的准确性，包括低数据设置。
• 消融研究表明，所 proposed 的 GCN-LSTM-HPA 架构优于传统的关系型 GCN，且路径级和 QA 对级注意力提升了性能。
• 通过 ConceptNet 的 grounding 以及通过 KG 嵌入进行路径剪枝，有效降低噪声同时保留信息丰富的模式路径。
• 分层注意力产生可解释的中间分数，便于检查有影响的概念对和路径。