[논문 리뷰] Disentangling Syntax and Semantics in the Brain with Deep Networks

Charlotte Caucheteux, Alexandre Gramfort외 1명|arXiv (Cornell University)|2021. 03. 02.

Neurobiology of Language and Bilingualism참고 문헌 53인용 수 33

한 줄 요약

이 논문은 GPT-2 활성화를 어휘적, 구성적, 통사적, 그리고 의미적 표현으로 분해하는 분류체계를 제안하고, 이 분해된 활성화를 345명의 피험자가 이야기를 듣는 동안의 fMRI 뇌 데이터에 매핑하여 분산적이고 비모듈식인 통사적 및 의미적 기질을 드러낸다.

ABSTRACT

The activations of language transformers like GPT-2 have been shown to linearly map onto brain activity during speech comprehension. However, the nature of these activations remains largely unknown and presumably conflate distinct linguistic classes. Here, we propose a taxonomy to factorize the high-dimensional activations of language models into four combinatorial classes: lexical, compositional, syntactic, and semantic representations. We then introduce a statistical method to decompose, through the lens of GPT-2's activations, the brain activity of 345 subjects recorded with functional magnetic resonance imaging (fMRI) during the listening of ~4.6 hours of narrated text. The results highlight two findings. First, compositional representations recruit a more widespread cortical network than lexical ones, and encompass the bilateral temporal, parietal and prefrontal cortices. Second, contrary to previous claims, syntax and semantics are not associated with separated modules, but, instead, appear to share a common and distributed neural substrate. Overall, this study introduces a versatile framework to isolate, in the brain activity, the distributed representations of linguistic constructs.

연구 동기 및 목표

• 인공 신경망과 생물학적 신경망 모두에서 어휘적, 구성적, 통사적, 의미적 표현을 구분하기 위한 명확하고 작동 가능한 분류체계의 필요성을 제시한다.
• 깊은 언어 모델로부터 통사적 표현을 추출하고 뇌 표현을 이에 따라 분해하는 방법을 개발한다.
• 공유된 뇌-모델 표현이 통사와 의미를 아우르는지 아니면 국소화된 모듈에 위치하는지 평가한다.
• 자연스러운 듣기 동안 큰 코호트의 fMRI 신호와 GPT-2 활성화(언어 클래스별로 인자화된 것) 간의 매핑을 평가한다.

제안 방법

• 분산된 활성에서 어휘적, 구성적, 통사적, 의미적 표현을 구분하는 다섯 점 분류체계를 정의한다.
• 동일한 구문을 갖는 문장을 합성하고 GPT-2 활성화(overline{X})를 평균화하여 통사적 표현을 분리한다.
• 모델 활성화 X(및 통사적 추출물 overline{X})를 공간-시간 인코딩 모델에 의하여 뇌 신호 Y에 매핑하고, 릿지 회귀와 FIR 지연을 사용한다.
• GPT-2 계층 전반에 걸쳐 뇌 점수를 어휘적, 구성적, 통사적, 의미적 구성요소로 분해하고, 구문-합성 기반선과 비교한다.
• Narratives fMRI 데이터셋(345명의 피험자, 약 4시간 분량의 이야기)에 이 방법을 적용하고, 일반화를 위해 계층 및 아키텍처 간에 테스트한다.

실험 결과

연구 질문

• RQ1 강력한 분류체계가 GPT-2와 뇌 활동 모두에서 어휘적, 구성적, 통사적, 의미적 표현을 해리해낼 수 있는가?
• RQ2 통사적 및 의미적 표현이 서로 다른 국소화된 뇌 모듈에 매핑되는가, 아니면 분산된 기저에 매핑되는가?
• RQ3 구성적 표현이 뇌 매핑에서 어휘적 표현과 어떻게 비교되며, 어떤 분포를 보이는가?
• RQ4 계층 간 및 서로 다른 트랜스포머 아키텍처 간에 뇌-모델 매핑이 안정적인가?

주요 결과

• 구성적 표현은 어휘적 표현보다 더 넓은 피질 네트워크를 활성화하며, 양측의 측두, 두정 및 전전두피질을 포함한다.
• 구문과 의미는 분리된 모듈에 국한되지 않으며, 공통적이고 분산된 신경 기저를 공유한다.
• 컨텍스트적(깊은) 계층(예: GPT-2 layer 9)이 어휘 임베딩보다 더 높은 뇌 점수를 얻으며, 언어 구조의 더 강한 인코딩을 반영한다.
• 구문적 표현은 구문적으로 일치된 합성 문장들의 활성화를 평균화하여 GPT-2로부터 추출할 수 있으며, 뇌 매핑에도 여전히 정보를 제공한다.
• 구성적 구문 및 구성적 의미는 분산된 뇌 관여를 보이며, 상기 측두 및 전전두 피질, 상회( Supramarginal ) 피질, 및 중전두 영역 등을 포함하는 영역에서 정점에 이른다.
• 계층 및 아키텍처 전반에 걸쳐 일반화되며, 가운데 위치의 GPT-2 계층이 가장 강한 뇌 점수를 자주 산출하고 다른 트랜스포머 모델에서도 유사한 경향이 관찰된다.