[논문 리뷰] Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons

Yuheng Chen, Pengfei Cao외 3명|arXiv (Cornell University)|2023. 08. 25.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 다양한 PLM 아키텍처와 언어 간에 지식 뉴런을 정밀하게 국소화하는 데 universal한 방법인 아키텍처 적응형 다국어 통합 기울기(AMIG)를 제안한다. 이는 두 가지 핵심 현상을 발견한다: 다국어 간 사실을 저장하는 언어에 독립적인 지식 뉴런과, 동일한 사실을 복수의 뉴런이 저장함으로써 功能적 중복성을 통해 강력한 사실 확인 기능을 제공하는 열화된 지식 뉴런으로, 이는 다국어 모델의 사실 일관성을 크게 향상시킨다.

ABSTRACT

Pre-trained language models (PLMs) contain vast amounts of factual knowledge, but how the knowledge is stored in the parameters remains unclear. This paper delves into the complex task of understanding how factual knowledge is stored in multilingual PLMs, and introduces the Architecture-adapted Multilingual Integrated Gradients method, which successfully localizes knowledge neurons more precisely compared to current methods, and is more universal across various architectures and languages. Moreover, we conduct an in-depth exploration of knowledge neurons, leading to the following two important discoveries: (1) The discovery of Language-Independent Knowledge Neurons, which store factual knowledge in a form that transcends language. We design cross-lingual knowledge editing experiments, demonstrating that the PLMs can accomplish this task based on language-independent neurons; (2) The discovery of Degenerate Knowledge Neurons, a novel type of neuron showing that different knowledge neurons can store the same fact. Its property of functional overlap endows the PLMs with a robust mastery of factual knowledge. We design fact-checking experiments, proving that the degenerate knowledge neurons can help the PLMs to detect wrong facts. Experiments corroborate these findings, shedding light on the mechanisms of factual knowledge storage in multilingual PLMs, and contribute valuable insights to the field. The code is available at https://github.com/heng840/AMIG.

연구 동기 및 목표

• 다른 PLM 아키텍처(예: BERT 대비 GPT) 간에 지식 뉴런을 국소화하는 데 universal한 방법이 부족한 문제를 해결하기 위해.
• 다국어 사전 학습된 언어 모델에서 사실 지식 저장 메커니즘을 단일 언어인 영어 중심 연구를 넘어서 탐색하기 위해.
• 언어 경계를 초월하고 기능적 중복성을 보이는 새로운 유형의 지식 뉴런을 식별하고 검증하기 위해.
• 국소화된 뉴런을 활용하여 다국어 지식 편집 및 사실 확인 성능을 향상시키기 위해.
• 다국어 PLM에서 지식 저장의 구조적 및 기능적 메커니즘에 대한 깊이 있는 통찰을 제공하기 위해.

제안 방법

• 자동 인코딩 및 자동 회귀 PLM 아키텍처 간의 보편적 호환성을 확보하기 위해 통합 기울기의 기본 벡터를 아키텍처에 맞게 적응시키는 기반 기반 방법인 AMIG를 제안한다.
• 모델 아키텍처에 관계없이 일관된 기여도 점수를 보장하기 위해 아키텍처 적응 기법을 도입한다.
• 다양한 언어 간 통합 기울기 계산 최적화를 위해 다국어 임계값 조정 기법을 구현한다.
• 다국어 간 교차 기반 뉴런 클러스터링을 통해 언어에 독립적인 지식 뉴런을 식별한다.
• 인과 추적 및 사실 확인 벤치마크를 적용하여 발견된 뉴런의 기능적 역할을 검증한다.
• 뉴런 기여도의 민감성과 실행 불변성을 보장하기 위해 통합 기울기와 축약 원칙을 융합한다.

실험 결과

연구 질문

• RQ1 자동 인코딩 및 자동 회귀 모델을 포함한 다양한 PLM 아키텍처 간에 지식 뉴런을 높은 정밀도로 국소화할 수 있는가?
• RQ2 다국어 PLM에서 사실 지식 표현이 특정 언어를 초월하는 형태로 존재하는가? 이는 다국어 편집을 가능하게 하는가?
• RQ3 여러 뉴런이 동일한 사실을 저장함으로써 기능적 중복성이 존재하는가? 이는 모델의 강건성을 향상시키는가?
• RQ4 열화된 지식 뉴런을 활용하여 다국어 모델의 사실 확인 성능을 향상시킬 수 있는가?
• RQ5 열화된 지식 뉴런의 존재가 잘못된 사실을 탐지하는 데 있어 모델 신뢰도 향상에 기여하는가?

주요 결과

• AMIG는 다양한 다국어 데이터셋과 PLM 아키텍처에서 이전 최고 성능 방법보다 더 높은 정밀도로 지식 뉴런을 국소화한다.
• 언어에 독립적인 지식 뉴런이 존재하며, 이는 모든 지원 언어에서 동일한 사실 지식을 동시에 편집할 수 있어 효율적인 다국어 지식 편집을 가능하게 한다.
• 동일한 사실을 저장하는 상호 기능적 중복성을 보이는 열화된 지식 뉴런이 발견되었으며, 이는 사실 오류에 대한 모델의 강건성을 향상시킨다.
• 사실 확인 작업에서 열화된 지식 뉴런을 사용함으로써 중국어 m-GPT에서 기준 방법 대비 F1 점수를 최대 167,150% 향상시켜 강력한 탐지 능력을 입증하였다.
• 열화된 지식 뉴런의 존재는 다국어화와 무관하게 관찰되었으며, BERT나 GPT-2와 같은 단일 언어 모델에서도 동일하게 발견되었다.
• 자기 회귀 모델은 일관성 중심 설계로 인해 사실 확인에서 더 높은 리콜을 보였지만, 열화된 뉴런은 BERT와 GPT-2를 포함한 모든 모델에서 F1 점수를 크게 향상시켰다.