[논문 리뷰] Long-range and hierarchical language predictions in brains and algorithms

Charlotte Caucheteux, Alexandre Gramfort외 1명|arXiv (Cornell University)|2021. 11. 28.

Neurobiology of Language and Bilingualism인용 수 11

한 줄 요약

이 연구는 자연스러운 말 듣기 상황에서 인간의 뇌가 최신의 딥 라anguage 모델보다 장거리 및 계층적인 언어적 구조를 더 잘 예측한다는 것을 드러낸다. 304명의 피실험자로부터 확득한 fMRI 데이터를 바탕으로, 뇌 활동은 최대 8단어 앞선 장거리 문법적 및 의미적 예측을 인코딩하는 반면, GPT-2 모델은 선형적으로 뇌 활동과 매핑되더라도 그러한 장거리 의존성을 포착하지 못한다.

ABSTRACT

Deep learning has recently made remarkable progress in natural language processing. Yet, the resulting algorithms remain far from competing with the language abilities of the human brain. Predictive coding theory offers a potential explanation to this discrepancy: while deep language algorithms are optimized to predict adjacent words, the human brain would be tuned to make long-range and hierarchical predictions. To test this hypothesis, we analyze the fMRI brain signals of 304 subjects each listening to 70min of short stories. After confirming that the activations of deep language algorithms linearly map onto those of the brain, we show that enhancing these models with long-range forecast representations improves their brain-mapping. The results further reveal a hierarchy of predictions in the brain, whereby the fronto-parietal cortices forecast more abstract and more distant representations than the temporal cortices. Overall, this study strengthens predictive coding theory and suggests a critical role of long-range and hierarchical predictions in natural language processing.

연구 동기 및 목표

• 현재의 딥 러닝 모델들과 달리 인간의 뇌가 즉각적인 맥락을 초월해 장거리 및 계층적인 언어 예측을 수행하는지 조사하는 것.
• 뇌의 예측 코딩이 먼 거리의 구조적 예측을 지원하는 반면 언어 모델은 짧은 거리의 예측에 국한된다는 가설을 검증하는 것.
• fMRI와 모델 활성도 분석을 통해 인간 뇌와 딥 네트워크 간의 언어 예측 깊이와 거리의 정도를 정량화하고 비교하는 것.
• 뇌의 예측을 문법적 및 의미적 구성요소로 분해하여 각 요소가 장거리 예측에 기여하는 방식을 평가하는 것.
• 장거리 예측 표현을 언어 모델에 통합함으로써 인간 뇌 활동과의 일치도 향상되는지 평가하는 것.

제안 방법

• 자연스러운 언어 처리 동안 신경 반응을 캡처하기 위해 약 70분 분량의 단편 소설을 청취하는 동안 304명의 피실험자로부터 fMRI 데이터를 수집하였다.
• 모델과 뇌 표현 간의 유사성을 비교하기 위해 GPT-2 활성도와 fMRI 신호 간 선형 매핑을 사용하였다.
• 예측 정확도 향상 정도를 측정하기 위해 현재 맥락에 미래 단어 시퀀스(다양한 거리 d)를 연결한 경우의 예측 정확도 향상을 평가하는 예측 점수를 정의하였다. 이는 선형 회귀 모델을 사용하였다.
• 예측 거리 d를 계산하기 위해, 피실험자와 볼륨 단위별로 예측 점수를 최대화하는 d를 산정하였으며, 비평탄한 예측 곡선을 보이는 영역에 집중하였다.
• GPT-2의 네트워크 레이어(k) 중에서 예측 성능이 최고로 나타나는 레이어를 식별하여 예측 깊이를 도입함으로써 계층적 처리 깊이를 규명하였다.
• 편미네이션 방법을 사용하여 GPT-2 활성도를 문법적 및 의미적 구성요소로 분해: 동일한 문법을 유지한 채 10개의 랜덤 의미 미래를 생성한 후 평균을 내어 문법적 내용을 분리하였다.

실험 결과

연구 질문

• RQ1 인간의 뇌는 즉각적인 다음 단어를 초월해 언어적 내용을 예측하는가? 만약 그렇다면 얼마나 앞서 예측하는가?
• RQ2 뇌의 장거리 예측 능력은 GPT-2와 같은 최신 딥 라anguage 모델과 비교해 어떻게 다른가?
• RQ3 뇌의 장거리 예측은 문법적 구조보다 의미적 구조에 더 크게 영향을 받는가? 그리고 이는 피각 영역 간에 어떻게 다를까?
• RQ4 신경망의 표현 깊이가 뇌 기반 예측의 깊이를 예측할 수 있으며, 이러한 일치는 계층적 처리 수준에서 유지되는가?
• RQ5 장거리 예측 표현을 언어 모델에 통합함으로써 인간 뇌 활동과의 일치도 향상될 수 있는가?

주요 결과

• 인간 뇌는 유의미한 정확도로 최대 8단어 앞선 언어적 내용을 예측하며, 이는 d=8에서 예측 점수의 피크로 입증된다. 반면 GPT-2 모델은 유사한 장거리 예측 성능를 달성하지 못한다.
• 전두 및 중상측 편측소부(anterior and mid-superior temporal sulcus, aSTS/mSTS)와 하행성 전두피질(inferior frontal gyrus, IFG)과 같은 뇌 영역에서 장거리 예측 점수가 뚜렷하게 나타나며, 특히 문법적 및 의미적 내용에 대해 유의미한 예측을 한다.
• 뇌의 예측 깊이가 GPT-2의 약 제8층에 해당하는 더 깊은 피각 층과 관련되어 있어, 장거리 예측이 더 추상적인 표현 수준에서 처리된다는 것을 시사한다.
• d=8에서 문법적 예측 점수가 의미적 예측 점수보다 높게 나타나, 뇌에서의 문법적 예측이 의미적 예측보다 더 강하다는 것을 보여준다.
• d=8과 d=0 사이의 예측 점수 차이가 핵심 언어 영역에서 피실험자 전반에 걸쳐 통계적으로 유의미하다(p < 0.01), 이는 비평탄하고 의미 있는 장거리 예측이 존재한다는 것을 확인한다.
• GPT-2 활성도와 fMRI 신호 간 강한 선형 매핑에도 불구하고, 모델이 먼 거리의 내용을 예측하지 못함으로써 뇌의 장거리 예측과의 근본적인 불일치가 발생한다.