[论文解读] Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention

Xu Yi‐chong, Chenguang Zhu+8 more|arXiv (Cornell University)|Dec 6, 2021

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出了一种名为知识增强外部注意力（KEAR）的轻量化框架，通过简单的文本拼接方式，将知识图谱、词典和训练数据中的外部知识注入Transformer模型，从而增强其推理能力。KEAR在不改变模型架构的前提下，通过检索外部知识实现性能提升，在CommonsenseQA上达到89.4%的测试准确率（人类基准为88.9%），甚至超越了GPT-3等大型模型的表现。

ABSTRACT

Most of today's AI systems focus on using self-attention mechanisms and transformer architectures on large amounts of diverse data to achieve impressive performance gains. In this paper, we propose to augment the transformer architecture with an external attention mechanism to bring external knowledge and context to bear. By integrating external information into the prediction process, we hope to reduce the need for ever-larger models and increase the democratization of AI systems. We find that the proposed external attention mechanism can significantly improve the performance of existing AI systems, allowing practitioners to easily customize foundation AI models to many diverse downstream applications. In particular, we focus on the task of Commonsense Reasoning, demonstrating that the proposed external attention mechanism can augment existing transformer models and significantly improve the model's reasoning capabilities. The proposed system, Knowledgeable External Attention for commonsense Reasoning (KEAR), reaches human parity on the open CommonsenseQA research benchmark with an accuracy of 89.4\\% in comparison to the human accuracy of 88.9\\%.

研究动机与目标

• 通过引入外部知识来解决扩大Transformer模型规模以提升推理能力的局限性。
• 在不依赖超大模型参数量的前提下，提升常识推理任务的性能。
• 通过使用非参数化、可更新的知识源，增强模型的可解释性与普及性。
• 证明外部知识集成可在基准任务上超越人类表现。
• 提供一种轻量化、模块化的框架，可轻松适配多种下游NLP应用。

提出的方法

• 该方法从三个外部来源检索相关知识：ConceptNet（知识图谱）、Wiktionary（词典）以及训练数据（CommonsenseQA和16个相关数据集）。
• 检索到的知识被直接拼接到输入序列中，保持原始Transformer架构不变，无需结构修改。
• 模型对输入与外部知识的组合进行标准自注意力计算，实现对内部和外部内容的动态注意力建模。
• 知识检索通过高效、非参数化的方法（如关键词匹配和信息检索）完成，最大限度降低计算开销。
• 采用由39种不同模型（包括DeBERTa、ELECTRA和GPT-3变体）组成的集成模型以提升性能，最终预测通过多数投票得出。
• 该框架允许从业者在不重新训练主模型的前提下，更新知识源（如修改知识图谱或维基百科条目）。

实验结果

研究问题

• RQ1 在不增加模型参数量的前提下，外部知识检索与集成是否能提升常识推理性能？
• RQ2 一种轻量化、非参数化的知识注入方法是否能在CommonsenseQA上超越人类表现？
• RQ3 结合多种外部知识源（知识图谱、词典、训练数据）对推理准确率有何影响？
• RQ4 当小规模模型通过外部知识增强后，能在多大程度上达到人类水平表现？
• RQ5 外部注意力是否能提升模型可解释性，并降低对超大规模预训练模型的依赖？

主要发现

• KEAR模型在CommonsenseQA测试集上达到89.4%的准确率，超过人类基准的88.9%。
• 集成模型在验证集上达到93.4%的准确率，显著优于此前最佳模型DEKCOR，提升超过6%。
• 当加入外部知识后，DeBERTa-xxlarge模型在验证集上的表现从83.8%提升至90.8%。
• 即使在GPT-3这类大规模模型上，该任务的准确率也仅为73.0%，凸显了外部注意力方法的有效性。
• 该方法使参数量最多达15亿的模型实现人类水平表现，减少了对超大模型的依赖。
• 案例研究显示，知识图谱、词典和训练数据三类知识源在复杂样本的正确推理中均不可或缺。