[论文解读] GNN is a Counter? Revisiting GNN for Question Answering

Kuan Wang, Yuyu Zhang+3 more|arXiv (Cornell University)|Oct 7, 2021

Topic Modeling参考文献 64被引用 12

一句话总结

本文提出图软计数器（Graph Soft Counter, GSC），一种仅具有一维隐藏状态的极简图神经网络，可在知识图谱上实现对边和节点的软计数。尽管参数量不足最先进GNN模型的1%，GSC在CommonsenseQA和OpenBookQA上的表现仍优于后者，揭示了现有复杂GNN模块可能主要执行简单计数而非复杂推理。

ABSTRACT

Question Answering (QA) has been a long-standing research topic in AI and NLP fields, and a wealth of studies have been conducted to attempt to equip QA systems with human-level reasoning capability. To approximate the complicated human reasoning process, state-of-the-art QA systems commonly use pre-trained language models (LMs) to access knowledge encoded in LMs together with elaborately designed modules based on Graph Neural Networks (GNNs) to perform reasoning over knowledge graphs (KGs). However, many problems remain open regarding the reasoning functionality of these GNN-based modules. Can these GNN-based modules really perform a complex reasoning process? Are they under- or over-complicated for QA? To open the black box of GNN and investigate these problems, we dissect state-of-the-art GNN modules for QA and analyze their reasoning capability. We discover that even a very simple graph neural counter can outperform all the existing GNN modules on CommonsenseQA and OpenBookQA, two popular QA benchmark datasets which heavily rely on knowledge-aware reasoning. Our work reveals that existing knowledge-aware GNN modules may only carry out some simple reasoning such as counting. It remains a challenging open problem to build comprehensive reasoning modules for knowledge-powered QA.

研究动机与目标

• 探究知识增强问答中复杂GNN模块是否真正执行高级推理，还是仅限于简单操作。
• 通过分析其架构组件，诊断最先进GNN-based问答系统的真实推理能力。
• 确定现有GNN模块是否过度参数化，以及更简单的模型能否实现更优性能。
• 设计一种极简、可解释且高效的推理模块，以捕捉问答中的核心推理功能。

提出的方法

• 应用稀疏变分Dropout（SparseVD）作为诊断工具，评估单个GNN层及初始节点嵌入的贡献度。
• 设计图软计数器（GSC），一种隐藏状态为一维的GNN，可在知识图谱的边和节点上执行软计数。
• 仅使用边和节点特征，不依赖预训练的知识图谱嵌入或额外的节点评分机制。
• 采用仅含两层MLP的硬边计数特征作为基线，与GSC的性能进行对比。
• 通过可视化各层的软计数值来追踪模型行为，确保可解释性。
• 在CommonsenseQA和OpenBookQA上，将GSC与最先进GNN模型（如QA-GNN、MHGRN、KagNet）进行基准测试。

实验结果

研究问题

• RQ1 知识增强问答系统中的现有GNN模块是否真正执行复杂推理，还是仅限于简单操作？
• RQ2 单个GNN层和初始节点嵌入在推理性能中的实际贡献是什么？
• RQ3 像软计数器这样的极简、参数高效模型能否在问答任务中超越复杂GNN架构？
• RQ4 边计数在知识增强问答的推理过程中起到多大程度的贡献？

主要发现

• GSC是一种参数量不足最先进GNN模型1%的图神经计数器，在CommonsenseQA和OpenBookQA上均表现更优。
• 在CommonsenseQA上，GSC达到78.78%的准确率，超过QA-GNN（78.32%）和MHGRN（73.89%），尽管其结构极为简单。
• SparseVD分析显示，许多GNN层和初始节点嵌入可被移除，表明存在过度参数化现象。
• 采用两层MLP的硬边计数模型性能与GSC相当，甚至优于部分GNN基线模型。
• GSC中的软计数值高度可解释，可直接追踪模型如何为每个答案选项打分。
• 模型性能排名（GSC > QA-GNN > MHGRN > RoBERTa）与边重叠百分比的排名高度一致，表明这些模型的推理行为相似，核心均围绕计数展开。