[論文レビュー] Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons

Yuheng Chen, Pengfei Cao+3 more|arXiv (Cornell University)|Aug 25, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、多様なPLMアーキテクチャと言語にわたる知識ニューロンの正確な局所化を可能にする普遍的手法であるアーキテクチャ適合型マルチリンガル統合勾配（AMIG）を提案する。本研究では、2つの重要な現象を同定した：言語に依存しない知識ニューロン（多言語間の事実を格納）と、機能的冗長性によって頑健な事実検証を可能にする劣化知識ニューロンであり、これらは多言語モデルにおける事実の一貫性を顕著に向上させた。

ABSTRACT

Pre-trained language models (PLMs) contain vast amounts of factual knowledge, but how the knowledge is stored in the parameters remains unclear. This paper delves into the complex task of understanding how factual knowledge is stored in multilingual PLMs, and introduces the Architecture-adapted Multilingual Integrated Gradients method, which successfully localizes knowledge neurons more precisely compared to current methods, and is more universal across various architectures and languages. Moreover, we conduct an in-depth exploration of knowledge neurons, leading to the following two important discoveries: (1) The discovery of Language-Independent Knowledge Neurons, which store factual knowledge in a form that transcends language. We design cross-lingual knowledge editing experiments, demonstrating that the PLMs can accomplish this task based on language-independent neurons; (2) The discovery of Degenerate Knowledge Neurons, a novel type of neuron showing that different knowledge neurons can store the same fact. Its property of functional overlap endows the PLMs with a robust mastery of factual knowledge. We design fact-checking experiments, proving that the degenerate knowledge neurons can help the PLMs to detect wrong facts. Experiments corroborate these findings, shedding light on the mechanisms of factual knowledge storage in multilingual PLMs, and contribute valuable insights to the field. The code is available at https://github.com/heng840/AMIG.

研究の動機と目的

• 異なるPLMアーキテクチャ（例：BERT対GPT）にわたる知識ニューロンの局所化のための普遍的手法の欠如に対処すること。
• 単一言語の英語中心の研究を超えて、多言語事前学習言語モデルにおける事実の格納メカニズムを調査すること。
• 言語の境界を越えて機能し、機能的冗長性を示す新しいタイプの知識ニューロンを同定・検証すること。
• 局所化されたニューロンを活用して、多言語間の知識編集と事実検証のパフォーマンスを向上させること。
• 多言語PLMにおける知識格納の構造的・機能的メカニズムについて、より深い洞察を提供すること。

提案手法

• 自己符号化型と自己回帰型PLMアーキテクチャの両方に普遍的に適合可能な、統合勾配のベースラインベクトルをアーキテクチャに適応させる勾配ベースの手法AMIGを提案する。
• モデルアーキテクチャにかかわらず一貫した帰属スコアを保証するためのアーキテクチャ適合技術を導入する。
• 異なる言語にわたる統合勾配計算の最適化を図るための多言語スレッショルド調整技術を実装する。
• 言語間で共通するニューロンクラスタリングを交差集合ベースで実施し、言語に依存しない知識ニューロンを同定する。
• 因果トレーシングと事実検証ベンチマークを用いて、同定されたニューロンの機能的役割を検証する。
• 公理的帰属原理を統合勾配に適用し、ニューロン帰属における感度と実装不変性を保証する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化型および自己回帰型モデルを含む多様なPLMアーキテクチャにわたって、知識ニューロンを高い精度で局所化できるか？
• RQ2 多言語PLMにおける事実の表現が、特定の言語に依存せず、多言語編集を可能にする形で存在するか？
• RQ3 複数のニューロンが同じ事実を格納する機能的冗長性が知識ニューロンに存在するか？
• RQ4 劣化知識ニューロンは、多言語モデルにおける事実検証パフォーマンスの向上に活用可能か？
• RQ5 劣化知識ニューロンの存在は、誤った事実を検出するモデルの信頼性向上に寄与するか？

主な発見

• AMIGは、多様なPLMアーキテクチャと多言語データセットにおいて、先行する最先端手法よりも高い精度で知識ニューロンを局所化した。
• 言語に依存しない知識ニューロンが存在し、それらを編集することで、すべての対応言語で同時に同じ事実を更新でき、多言語間の知識編集を効率的に行える。
• 同じ事実を格納する機能的重複するニューロン（劣化知識ニューロン）が同定され、事実誤りに対するモデルの頑健性が向上した。
• 事実検証タスクにおいて、劣化知識ニューロンを活用することで、中国語m-GPTにおいてベースライン手法比でF1スコアが最大167,150%向上し、優れた検出能力を示した。
• 劣化知識ニューロンの存在は多言語性に依存せず、BERT や GPT-2 といった単一言語モデルでも観察された。
• 自己回帰型モデルは一貫性に重きを置いた設計のため、事実検証において高いリCALLを示したが、劣化ニューロンはBERT や GPT-2 を含むすべてのモデルでF1スコアの向上に寄与した。