[논문 리뷰] Left-right asymmetry in predicting brain activity from LLMs' representations emerges with their formal linguistic competence

Laurent Bonnasse-Gahot, Christophe Pallier|arXiv (Cornell University)|2026. 02. 13.

Neurobiology of Language and Bilingualism인용 수 0

한 줄 요약

이 연구는 LLM 표현에서의 좌우 뇌 예측성 비대칭이 형식적 언어 능력이 습득되면서 나타나며, 세계 지식이나 산술 과제보다는 문법적 능력에 부합하고, 모델과 언어에 걸쳐 일반화된다는 것을 보여준다.

ABSTRACT

When humans and large language models (LLMs) process the same text, activations in the LLMs correlate with brain activity measured, e.g., with functional magnetic resonance imaging (fMRI). Moreover, it has been shown that, as the training of an LLM progresses, the performance in predicting brain activity from its internal activations improves more in the left hemisphere than in the right one. The aim of the present work is to understand which kind of competence acquired by the LLMs underlies the emergence of this left-right asymmetry. Using the OLMo-2 7B language model at various training checkpoints and fMRI data from English participants, we compare the evolution of the left-right asymmetry in brain scores alongside performance on several benchmarks. We observe that the asymmetry co-emerges with the formal linguistic abilities of the LLM. These abilities are demonstrated in two ways: by the model's capacity to assign a higher probability to an acceptable sentence than to a grammatically unacceptable one within a minimal contrasting pair, or its ability to produce well-formed text. On the opposite, the left-right asymmetry does not correlate with the performance on arithmetic or Dyck language tasks; nor with text-based tasks involving world knowledge and reasoning. We generalize these results to another family of LLMs (Pythia) and another language, namely French. Our observations indicate that the left-right asymmetry in brain predictivity matches the progress in formal linguistic competence (knowledge of linguistic patterns).

연구 동기 및 목표

• LLM에서 어떤 역량이 뇌 예측성과 좌우 뇌 비대칭의 등장에 기여하는지 조사한다.
• 학습 진행률, 언어 벤치마크, 뇌 점수 비대칭 간의 정렬 관계를 검토한다.
• 모델 계열(OLMo-2, Pythia)과 언어(English, French) 전반에 걸친 발견의 일반화 가능성을 테스트한다.
• 형식적 언어 능력의 영향과 비언어적 또는 기능적 언어 과제가 뇌 비대칭에 미치는 영향을 구분한다.

제안 방법

• 레이드 규제 선형 모델을 사용하여 층에 걸친 fMRI 신호를 LLM 활성화에 회귀시켜 보 voxel 단위의 뇌 점수를 계산한다.
• 각 반구의 뇌 피질에서 상관을 평균화하고 가장 신뢰도 높은 25%의 뇌 보실에 집중한다.
• 최소-쌍 벤치마크(BLiMP, Zorro)와 비언어적 과제(Arithmetic, Dyck language)로 LLM 능력을 평가한다.
• 생성된 텍스트의 언어적 수용 가능성을 형식적 능력의 척도로 평가한다.
• Pythia 모델과 프랑스어에서 language-specific 벤치마크(fr-grammar, French Hellaswag)을 사용해 분석을 재현한다.
• 훈련 궤적 곡선에 시그모이드(sigmоids)를 적합시켜 뇌 비대칭과 벤치마크 성능 간의 전이점(x0) 및 기울기(beta)를 비교한다.

실험 결과

연구 질문

• RQ1 Does the emergence of left-right brain score asymmetry track the acquisition of formal linguistic competence in LLMs?
• RQ2 Is the asymmetry aligned with linguistic benchmarks (formal competence) rather than non-linguistic or functional tasks?
• RQ3 Do findings generalize across different model families and languages?
• RQ4 What is the relative timing of brain asymmetry development versus functional language capabilities during training?

주요 결과

• 좌우 뇌 점수 비대칭은 학습 중 단계적 전이를 보이며 형식적 언어 능력이 상승하는 것과 일치한다.
• BLiMP와 Zorro 벤치마크가 뇌 비대칭의 동일한 전이를 추적하는 반면 Arithmetic와 Dyck 벤치마크는 그렇지 않다.
• 생성된 텍스트의 언어적 수용 가능성은 좌우 비대칭의 궤적을 반영하지만 ARC와 Hellaswag은 그렇지 않다.
• 결과는 Pythia 모델과 프랑스어에도 일반화되며, 영어 중심의 학습으로 인해 프랑스어의 형식적 능력은 더 느리게 발달한다.
• 소뇌의 우좌 비대칭은 피질의 좌우 패턴을 반영하며 형식적 언어 능력과도 일치한다.
• 좌우 비대칭은 어휘-의미적 내용보다 합성적 구문(syntax)과 상관 관계가 더 크며, 구문 처리 과정이 뇌-모델 정렬에 기여함을 시사한다.