[논문 리뷰] Inducing brain-relevant bias in natural language processing models

Dan Schwartz, Mariya Toneva외 1명|arXiv (Cornell University)|2019. 10. 29.

Neurobiology of Language and Bilingualism참고 문헌 27인용 수 22

한 줄 요약

이 논문은 뇌 활동 기록(fMRI 및 MEG)을 사용하여 BERT를 미세조정하여 뇌와 관련된 언어 처리를 더 잘 반영하는 표현을 유도하는 것을 제안한다. 미세조정 후 모델은 참가자 간 fMRI 활동 예측 성능이 향상되었으며, fMRI 전용 모델보다 뛰어난 성능을 보이며 뇌 유도 표현 학습이 자연어 처리 성능을 해치지 않으면서도 신경 예측 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

Progress in natural language processing (NLP) models that estimate representations of word sequences has recently been leveraged to improve the understanding of language processing in the brain. However, these models have not been specifically designed to capture the way the brain represents language meaning. We hypothesize that fine-tuning these models to predict recordings of brain activity of people reading text will lead to representations that encode more brain-activity-relevant language information. We demonstrate that a version of BERT, a recently introduced and powerful language model, can improve the prediction of brain activity after fine-tuning. We show that the relationship between language and brain activity learned by BERT during this fine-tuning transfers across multiple participants. We also show that, for some participants, the fine-tuned representations learned from both magnetoencephalography (MEG) and functional magnetic resonance imaging (fMRI) are better for predicting fMRI than the representations learned from fMRI alone, indicating that the learned representations capture brain-activity-relevant information that is not simply an artifact of the modality. While changes to language representations help the model predict brain activity, they also do not harm the model's ability to perform downstream NLP tasks. Our findings are notable for research on language understanding in the brain.

연구 동기 및 목표

• 사전에 훈련된 언어 모델인 BERT를 뇌 활동 기록에 대해 미세조정함으로써 언어에 대한 신경 반응을 더 잘 예측할 수 있는 표현을 생성할 수 있는지 조사하는 것.
• 다양한 참가자와 여러 신경영상 기법(fMRI 및 MEG)에서 학습된 표현이 개인 간 및 기록 유형 간 일반화되는지 확인하는 것.
• 뇌 유도 미세조정이 fMRI 데이터만을 사용할 때 얻을 수 있는 성능을 넘어서 fMRI 활동 예측 성능을 향상시키는지 평가하는 것.

제안 방법

• 텍스트 입력에 해당하는 fMRI 및 MEG 기록을 예측하기 위해 선형 헤드를 사용하여 BERT를 미세조정하며, MEG 예측은 내용어에 기반하고 fMRI 예측은 [CLS] 토큰 임베딩에 기반한다.
• 다중 작업 학습을 통해 미세조정 중에 fMRI 및 MEG 예측을 동시에 최적화하여 두 기술의 상호보완적 강점을 활용한다.
• 다양한 참가자의 데이터로 훈련하여 뇌 관련 표현의 개인 간 일반화를 유도한다.
• 비율 설명 분산(PoV)을 사용하여 fMRI 볼륨에서 설명 가능한 분산 비율을 평가하고, 미세조정된 모델과 일반 BERT 간 성능을 비교한다.
• 가장 변화가 큰 예시들에서 특성 분포의 이동을 분석하여 미세조정 과정 중 표현 변화를 이끄는 언어적 특징을 특정한다.
• 부트스트랩 리샘플링을 사용하여 고변화 및 저변화 예시 간 특성 빈도 비교의 표준 오차를 추정한다.

실험 결과

연구 질문

• RQ1 뇌 활동 기록에 기반한 BERT의 미세조정이 자연어 자극에 대한 fMRI 반응 예측 능력을 향상시킬 수 있는가?
• RQ2 뇌 유도 표현 학습이 서로 다른 참가자와 신경영상 기술 간으로 전이 가능한가?
• RQ3 MEG 데이터로 미세조정된 표현이 fMRI 데이터로만 미세조정된 표현보다 fMRI 예측 성능을 더 높일 수 있는가?
• RQ4 뇌 유도 미세조정 과정에서 BERT의 표현이 변화하는 데 있어 운동 또는 정서 레이블과 같은 특정 언어적 특징과 관련이 있는가?
• RQ5 뇌 유도 미세조정의 성능 향상이 특정 뇌 영역에 국한되어 있는가, 아니면 언어 관련 영역 전반에 퍼져 있는가?

주요 결과

• 미세조정된 BERT 모델은 참가자 간 fMRI 활동 예측 성능이 유의미하게 향상되었으며, 대부분의 참가자에서 MEG 전이 모델이 fMRI 전용 모델보다 언어 영역에서 더 뛰어난 성능을 보였다.
• 미세조정된 표현은 참가자 간 일반화되었으며, 이는 모델이 공통의 뇌 관련 언어 패턴을 학습했다는 것을 시사한다.
• 일부 참가자에서는 MEG 및 fMRI 데이터 양쪽에 대해 미세조정된 표현이 fMRI 전용으로만 미세조정된 표현보다 fMRI를 더 정확하게 예측했다. 이는 MEG가 중복되지 않는 뇌 관련 정보를 캡처하고 있음을 시사한다.
• 미세조정 과정에서 가장 변화가 큰 예시들은 운동 관련 레이블(예: 'move')과 지시어 언어의 빈도가 높았으며, 이는 이러한 언어적 특징이 표현 적응의 핵심 요소임을 나타낸다.
• 뇌 유도 미세조정 후에도 모델은 다운스트림 NLP 작업에서 강력한 성능 유지를 보였으며, 이는 뇌 관련 편향이 핵심 언어 이해 능력을 손상시키지 않는다는 것을 확인한다.
• 특성 분포 분석 결과, 동사와 관형사가 미세조정에 의해 가장 영향을 많이 받는 언어 카테고리에 속해 있으며, 이는 이들이 신경 언어 처리에서 중요한 역할을 한다는 것을 시사한다.