[논문 리뷰] What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores

Ebrahim Feghhi, Nima Hadidi외 3명|arXiv (Cornell University)|2024. 06. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 단순한 비언어적 특성—예를 들어 시간적 자기상관, 문장 길이, 단어 위치—이 미세조정되지 않은 및 미세조정된 LLM 모두에서 예측된 신경 활동 분산의 대부분을 설명함으로써 뇌 점수의 유효성을 도전한다. 연속적인 훈련-테스트 분할과 체계적인 특성 제거를 통해 저자들은 이전 연구에서 관찰된 고도의 뇌 점수가 주로 이러한 단순한 특성에 의해 영향을 받는다는 것을 보여주며, LLM이 인간 뇌와 핵심 계산 원리를 공유한다는 주장의 타당성을 떨어뜨린다.

ABSTRACT

Given the remarkable capabilities of large language models (LLMs), there has been a growing interest in evaluating their similarity to the human brain. One approach towards quantifying this similarity is by measuring how well a model predicts neural signals, also called "brain score". Internal representations from LLMs achieve state-of-the-art brain scores, leading to speculation that they share computational principles with human language processing. This inference is only valid if the subset of neural activity predicted by LLMs reflects core elements of language processing. Here, we question this assumption by analyzing three neural datasets used in an impactful study on LLM-to-brain mappings, with a particular focus on an fMRI dataset where participants read short passages. We first find that when using shuffled train-test splits, as done in previous studies with these datasets, a trivial feature that encodes temporal autocorrelation not only outperforms LLMs but also accounts for the majority of neural variance that LLMs explain. We therefore use contiguous splits moving forward. Second, we explain the surprisingly high brain scores of untrained LLMs by showing they do not account for additional neural variance beyond two simple features: sentence length and sentence position. This undermines evidence used to claim that the transformer architecture biases computations to be more brain-like. Third, we find that brain scores of trained LLMs on this dataset can largely be explained by sentence length, position, and pronoun-dereferenced static word embeddings; a small, additional amount is explained by sense-specific embeddings and contextual representations of sentence structure. We conclude that over-reliance on brain scores can lead to over-interpretations of similarity between LLMs and brains, and emphasize the importance of deconstructing what LLMs are mapping to in neural signals.

연구 동기 및 목표

• LLM에서의 높은 뇌 점수가 인간 뇌와의 진정한 언어적 유사성 반영인지 아니면 단순한 비언어적 특성에 의해 유도되는지 조사하기 위해.
• 뇌 점수 평가에서 혼합된 훈련-테스트 분할의 유효성을 도전하기 위해, 이는 시간적 자기상관으로 인해 오염될 수 있기 때문이다.
• LLM 표현이 실제로 신경 신호에서 무엇을 예측하고 있는지 체계적으로 분해하기 위해, 이론적으로 관심이 없는 단순한 특성과 비교한다.
• 미세조정되지 않은 및 미세조정된 LLM이 언어 계산 때문이 아니라 기본적인 구조적 및 위치적 신호를 인코딩하기 때문에 고도의 뇌 점수를 달 đạt한다는 것을 보여주기 위해.
• LLM에서 뇌 유사 계산을 추론하기 전에 신경 인코딩 성능을 더 철저히 분해할 것을 주장하기 위해.

제안 방법

• fMRI 데이터에서 시간적 자기상관의 오염을 제거하기 위해, 무작위 분할 대신 연속적인 훈련-테스트 분할을 사용하였다.
• 신경 활동 분산을 설명하기 위해 문장 길이, 단어 위치, 문장 위치와 같은 단순한 특성들을 도입하고 평가하였다.
• LLM 표현이 이러한 단순한 특성들 외에 추가로 설명하는 분산의 정도를 평가하기 위해 밴드형 회귀 분석을 적용하였다.
• LLM 성능이 기준 특성보다 통계적으로 유의미한지 평가하기 위해 FDR 보정을 적용한 일측 대응 t-검정을 사용하였다.
• Pereira(fMRI), Fedorenko(ECoG), Blank(fMRI) 세 데이터셋에서 아블레이션 연구를 수행하였으며, 언어망 볼륨을 중심으로 분석하였다.
• R²를 통해 뇌 점수를 측정하였으며, 레이어와 참가자 수준에서 LLM 표현과 기준 특성 간의 신경 활동 간의 유사성을 비교하였다.

Figure 1: Within each panel, EXP1 results are on the left and EXP2 results are on the right (a) $R^{2}$ values across layers for GPT2-XL on shuffled train-test splits (gray) and contiguous (unshuffled) splits (blue). (b) Each dot shows the mean $R^{2}$ value across voxels within a participant, with

실험 결과

연구 질문

• RQ1 fMRI 연구에서 무작위로 분할된 훈련-테스트 세트는 시간적 자기상관으로 인해 유사한 상관관계를 유발하는가?
• RQ2 문장 길이와 단어 위치와 같은 단순한 비언어적 특성이 미세조정되지 않은 및 미세조정된 LLM의 고도의 뇌 점수를 설명할 수 있는가?
• RQ3 Pereira fMRI 데이터셋에서 GPT2-XL이 설명하는 신경 활동 분산의 몇 퍼센트가 문장 위치 및 자기상관과 관련된가?
• RQ4 연속적인 분할과 적절한 통계 보정을 사용할 때, GPT2-XL의 Blank fMRI 데이터셋에서의 뇌 점수가 우연의 수준을 초과하는가?
• RQ5 LLM의 문맥적 표현과 의미 임베딩이 정적 특성들을 초월하여 신경 예측성에 기여하는 정도는 어느 정도인가?

주요 결과

• Pereira fMRI 데이터셋에서 무작위로 분할된 훈련-테스트 세트는 GPT2-XL이 설명하는 분산의 56.8%를 차지하는 단순한 특성—시간적 자기상관(OASM)—에 의해 설명되며, OASM 자체가 신경 활동 분산의 56.8%를 설명한다.
• 미세조정되지 않은 GPT2-XL의 높은 뇌 점수는 거의 완전히 문장 길이와 문장 위치에 의해 설명되며, 그 구조적 특성으로서의 추가 설명력은 없다.
• Fedorenko ECoG 데이터셋에서, 단어 위치(WP)는 GPT2-XL이 설명하는 신경 활동 분산의 90.8%를 설명하며, WP 자체가 GPT2-XL이 설명하는 분산의 81.6%를 차지한다.
• Blank fMRI 데이터셋에서, GPT2-XL은 연속적인 분할을 사용할 경우 우연 수준 이하의 성능을 보이며, FDR 보정 후 유의미한 신경 예측성은 없었다(1317개 fROIs 중 0개).
• 문장 길이, 문장 위치, 정적 단어 임베딩을 고려한 후에도, GPT2-XL에서 의미 임베딩과 문맥적 표현이 신경 활동의 추가적인 분산을 설명하는 데 기여하는 정도는 매우 미미하다.
• 이 연구는 뇌 점수에 대한 기초 특성 분해 없이 과도하게 의존할 경우, 특히 단순한 비언어적 특성이 신호를 지배할 경우, LLM-뇌 유사성에 대한 과잉 해석이 이뤄질 수 있다는 결론을 내린다.

Figure 2: For all panels, EXP1 results are on the left and EXP2 results are on the right. (a) $R^{2}$ for different combinations of features. Each dot represents $R^{2}$ values averaged across voxels in a single participant, with bars showing mean across participants. (b) 2D histogram of $R^{2}$ val