[论文解读] Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models

Jinhao Jiang, Kun Zhou+2 more|arXiv (Cornell University)|May 4, 2022

Topic Modeling被引用 7

一句话总结

本文提出 SAFE（Simple Attention-based Encoder），一种基于轻量级 MLP 的知识编码器，利用常识知识图谱（CSKGs）中的统计关系路径，以增强预训练语言模型（PTMs）在常识推理任务中的表现。与复杂的图神经网络（GNN）编码器相比，SAFE 在参数量少于 1% 的情况下，在五个基准测试中实现了最先进或具有竞争力的性能，证明了关系特征而非节点特征才是性能提升的关键。

ABSTRACT

Commonsense reasoning in natural language is a desired ability of artificial intelligent systems. For solving complex commonsense reasoning tasks, a typical solution is to enhance pre-trained language models~(PTMs) with a knowledge-aware graph neural network~(GNN) encoder that models a commonsense knowledge graph~(CSKG). Despite the effectiveness, these approaches are built on heavy architectures, and can't clearly explain how external knowledge resources improve the reasoning capacity of PTMs. Considering this issue, we conduct a deep empirical analysis, and find that it is indeed relation features from CSKGs (but not node features) that mainly contribute to the performance improvement of PTMs. Based on this finding, we design a simple MLP-based knowledge encoder that utilizes statistical relation paths as features. Extensive experiments conducted on five benchmarks demonstrate the effectiveness of our approach, which also largely reduces the parameters for encoding CSKGs. Our codes and data are publicly available at https://github.com/RUCAIBox/SAFE.

研究动机与目标

• 理解外部常识知识如何增强预训练模型（PTMs）的推理能力。
• 识别对常识推理性能提升有贡献的知识资源的关键组件。
• 设计一种轻量级、可解释的知识编码器，以降低模型复杂度，同时保持或提升性能。

提出的方法

• 通过实证分析，分离分析 CSKG 中节点特征与关系特征对 PTM 性能的贡献。
• 设计一种基于 MLP 的简单知识编码器（SAFE），将统计关系路径作为输入特征。
• 使用最短路径或子图提取技术，从 CSKG（如 ConceptNet、ATOMIC）中提取关系路径。
• 在微调过程中将 SAFE 编码器与预训练模型集成，以增强推理能力。
• 在多选常识推理数据集上端到端训练模型，仅引入极少的架构开销。
• 在五个基准数据集上评估模型，与基于 GNN 的基线模型比较性能和参数效率。

实验结果

研究问题

• RQ1 常识知识图谱（CSKGs）中的哪些组件对提升 PTM 在常识推理任务中的性能最为关键？
• RQ2 当仅使用关系路径特征时，基于简单 MLP 的编码器能否超越复杂的基于 GNN 的编码器？
• RQ3 在不牺牲推理性能的前提下，参数效率最多可提升多少？
• RQ4 在低数据训练环境下，所提方法的性能如何变化？
• RQ5 仅靠关系路径特征是否足以提供有效的知识证据以实现高效的常识推理？

主要发现

• CSKG 中的关系特征是常识推理性能提升的主要驱动力，而非节点特征。
• 所提出的 SAFE 编码器在五个常识推理基准测试（包括 CommonsenseQA、SocialIQA 和 OpenBookQA）中实现了最先进或具有竞争力的结果。
• SAFE 将知识编码的可训练参数数量减少到基于 GNN 的编码器的 1% 以下，显著提升了效率。
• 该方法在低数据训练环境下仍保持强劲性能，表明其具备鲁棒性和泛化能力。
• 实证分析证实，统计关系路径可作为有效的知识证据，用于增强 PTM 的推理能力。
• 与黑箱 GNN 相比，该方法提供了更可解释、更透明的知识注入机制。