[논문 리뷰] Joint processing of linguistic properties in brains and language models

Subba Reddy Oota, Manish Gupta외 1명|arXiv (Cornell University)|2022. 12. 15.

Topic Modeling인용 수 12

한 줄 요약

이 연구는 BERT와 GPT-2 표현에서 특정 언어적 특성(표면, 문법, 의미)을 직접적으로 분리하고 제거하는 방법을 제안하여, 모델의 각 레이어에서 뇌 정렬에 가장 강한 영향을 미치는 것은 문법적 특성—특히 상위 구성요소와 트리 깊이—임을 밝혀냈다. 어떤 언어적 특성이라도 제거되면 fMRI 기록과의 정렬이 크게 감소함으로써, 이러한 특성들이 공동으로 처리됨이 인간의 뇌 활동과 언어 모델 간의 관찰된 상관관계를 이끌어낸다는 것을 입증한다.

ABSTRACT

Language models have been shown to be very effective in predicting brain recordings of subjects experiencing complex language stimuli. For a deeper understanding of this alignment, it is important to understand the correspondence between the detailed processing of linguistic information by the human brain versus language models. We investigate this correspondence via a direct approach, in which we eliminate information related to specific linguistic properties in the language model representations and observe how this intervention affects the alignment with fMRI brain recordings obtained while participants listened to a story. We investigate a range of linguistic properties (surface, syntactic, and semantic) and find that the elimination of each one results in a significant decrease in brain alignment. Specifically, we find that syntactic properties (i.e. Top Constituents and Tree Depth) have the largest effect on the trend of brain alignment across model layers. These findings provide clear evidence for the role of specific linguistic information in the alignment between brain and language models, and open new avenues for mapping the joint information processing in both systems. We make the code publicly available [https://github.com/subbareddy248/linguistic-properties-brain-alignment].

연구 동기 및 목표

• 특정 언어적 특성이 뇌 활동과 사전 학습된 언어 모델 간의 정렬에 어떻게 공동 기여하는지 조사하기 위해.
• fMRI 기록과 언어 모델 표현 간의 관찰된 상관관계를 가장 책임지는 언어적 특성이 무엇인지 규명하기 위해.
• 모델 표현 내 언어 정보를 고립시켜 뇌 정렬에 미치는 영향을 평가할 수 있도록 직접 간섭 방법을 개발하고 검증하기 위해.
• 언어 모델 계층에서 고수준 언어 처리가 어디에 발생하는지에 대한 상반된 견해를 해소하기 위해 개별 언어적 특성의 功能적 역할을 시험하기 위해.
• 뇌-모델 정렬의 기초가 되는 언어적 특성을 규명함으로써 더 해석 가능하고 인지적으로 타당한 AI를 가능하게 하기 위해.

제안 방법

• 각 언어적 특성(예: 상위 구성요소, 트리 깊이)을 BERT/GPT-2의 은닉 상태에 매핑하기 위한 선형 투영 함수를 학습하여, 해당 특성이 없는 잔차 표현을 추정할 수 있도록 한다.
• 원본 모델 표현에서 예측된 언어적 기여도를 빼내 잔차 표현을 확보함으로써, 해당 특성의 영향력을 효과적으로 제거한다.
• 전체 및 잔차 언어 모델 표현으로부터 fMRI 활동을 예측하기 위한 선형 인코딩 모델을 학습하여, 제거 전후의 뇌 정렬을 측정한다.
• 정렬 차이의 통계적 유의성을 검증하여 특정 언어적 특성의 제거가 뇌 정렬에 유의미한 영향을 미치는지 평가한다.
• 해당 특성의 제거가 뇌 정렬 변화에 미치는 영향을 분석하기 위해, 모델 레이어 전반에 걸쳐 복원 성능 변화와 뇌 정렬 변화 간의 상관관계를 분석한다.
• 다양한 언어 영역(예: IFG, MFG, PCC, ATL, PTL)과 그 하위 영역에 대해 이 방법을 적용하여 언어 특성 기여의 영역 특이성을 평가한다.

실험 결과

연구 질문

• RQ1 언어 모델 표현과 fMRI 뇌 기록 간의 정렬에 가장 기여하는 언어적 특성들은 무엇인가?
• RQ2 개별 언어적 특성의 제거가 BERT와 GPT-2의 각 레이어에서 뇌 정렬 추세에 어떻게 영향을 미치는가?
• RQ3 특정 뇌 영역에서 문법적, 의미적, 표면 수준의 특성이 뇌 정렬에 비례적으로 더 큰 영향을 미치는가?
• RQ4 언어 모델의 중간 레이어에서 관찰된 뇌 정렬의 피크 현상은 어느 정도의 언어적 특성에 의해 설명되는가?
• RQ5 이 간섭 기반 접근법은 다른 언어 모델과 언어적 특성으로 일반화될 수 있는가?

주요 결과

• 표면, 문법, 의미적 특성 중 어떤 특성이라도 BERT와 GPT-2의 모든 레이어에서 뇌 정렬을 유의미하게 감소시킨다.
• 상위 구성요소는 BERT 레이어 전반에서 뇌 정렬 추세에 가장 큰 영향을 미치며, 특히 모든 언어 영역의 중간 레이어에서 정점 정렬을 이끄는 데 기여한다.
• 트리 깊이는 청각(예: ATL, PTL) 및 전두엽(예: IFG, MFG) 언어 영역에서 정렬에 중대한 영향을 미치며, 영역 특이적인 문법 처리를 시사한다.
• 의미적 특성들인 Tense, Subject Number, Object Number는 PCC와 같은 더 의미 중심의 영역과 정렬에서 강한 국소적 영향을 미친다.
• 모든 테스트된 언어적 특성을 제거한 후에도 여전히 상당한 수준의 뇌 정렬이 유지되며, 이는 측정되지 않은 언어적 또는 비언어적 특성들도 정렬에 기여하고 있음을 시사한다.
• GPT-2에서도 동일한 결과 패tern이 재현되었으며, 이는 발견들이 다양한 모델 아키텍처와 학습 목표에 대해 강건함을 시사한다.