[论文解读] Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons

Yuheng Chen, Pengfei Cao+3 more|arXiv (Cornell University)|Aug 25, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出架构自适应多语言集成梯度（AMIG），一种通用方法，可精确地定位跨多种预训练语言模型（PLM）架构和语言的知识神经元。该方法发现两个关键现象：跨语言的知识神经元可存储多语言事实，而退化知识神经元则通过功能冗余实现鲁棒的事实核查，显著提升多语言模型的事实一致性。

ABSTRACT

Pre-trained language models (PLMs) contain vast amounts of factual knowledge, but how the knowledge is stored in the parameters remains unclear. This paper delves into the complex task of understanding how factual knowledge is stored in multilingual PLMs, and introduces the Architecture-adapted Multilingual Integrated Gradients method, which successfully localizes knowledge neurons more precisely compared to current methods, and is more universal across various architectures and languages. Moreover, we conduct an in-depth exploration of knowledge neurons, leading to the following two important discoveries: (1) The discovery of Language-Independent Knowledge Neurons, which store factual knowledge in a form that transcends language. We design cross-lingual knowledge editing experiments, demonstrating that the PLMs can accomplish this task based on language-independent neurons; (2) The discovery of Degenerate Knowledge Neurons, a novel type of neuron showing that different knowledge neurons can store the same fact. Its property of functional overlap endows the PLMs with a robust mastery of factual knowledge. We design fact-checking experiments, proving that the degenerate knowledge neurons can help the PLMs to detect wrong facts. Experiments corroborate these findings, shedding light on the mechanisms of factual knowledge storage in multilingual PLMs, and contribute valuable insights to the field. The code is available at https://github.com/heng840/AMIG.

研究动机与目标

• 解决现有方法在不同PLM架构（如BERT与GPT）之间缺乏通用知识神经元定位方法的问题。
• 探索超越单语英语研究的多语言预训练语言模型中的事实知识存储机制。
• 识别并验证超越语言边界的新型知识神经元，其具备功能冗余特性。
• 利用定位到的知识神经元提升跨语言知识编辑与事实核查性能。
• 深入揭示多语言PLM中知识存储的结构与功能机制。

提出的方法

• 提出AMIG，一种基于梯度的方法，通过自适应集成梯度中的基线向量，使其在自编码与自回归PLM架构间具备通用兼容性。
• 引入架构自适应技术，确保无论模型架构如何，归因分数均保持一致。
• 实施多语言阈值调节技术，优化不同语言下的集成梯度计算。
• 通过跨语言的交集神经元聚类方法，识别跨语言独立的知识神经元。
• 应用因果追踪与事实核查基准，验证发现神经元的功能角色。
• 结合公理化归因原则使用集成梯度，确保神经元归因的敏感性与实现不变性。

实验结果

研究问题

• RQ1 能否在包括自编码与自回归模型在内的多种PLM架构中，高精度地定位知识神经元？
• RQ2 多语言PLM中的事实知识表征是否以超越特定语言的形式存在，从而支持跨语言编辑？
• RQ3 知识神经元是否存在功能冗余，即多个神经元存储同一事实，从而增强模型鲁棒性？
• RQ4 能否利用退化知识神经元提升多语言模型中的事实核查性能？
• RQ5 退化知识神经元的存在是否有助于提升模型检测错误事实的能力，从而增强可靠性？

主要发现

• AMIG在多语言数据集与多种PLM架构中，对知识神经元的定位精度高于先前最先进方法。
• 存在跨语言独立的知识神经元，可通过编辑实现对所有支持语言中同一事实知识的同步更新，从而实现高效的跨语言知识编辑。
• 发现了功能重叠的退化知识神经元（即存储相同事实的多个神经元），显著增强了模型对事实错误的鲁棒性。
• 在事实核查任务中，使用退化知识神经元使中文m-GPT的F1分数相比基线方法最高提升167,150%，展现出强大的错误检测能力。
• 退化知识神经元的存在与多语言性无关，其在单语模型（如BERT与GPT-2）中亦被观察到。
• 自回归模型因设计聚焦连贯性，在事实核查中表现出更高的召回率，但退化神经元显著提升了所有模型（包括BERT与GPT-2）的F1分数。