[论文解读] What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores

Ebrahim Feghhi, Nima Hadidi+3 more|arXiv (Cornell University)|Jun 3, 2024

Topic Modeling被引用 4

一句话总结

本文通过证明时间自相关性、句子长度和词位置等简单非语言特征可解释大多数由未微调和微调的大型语言模型预测的神经活动方差，挑战了脑部评分作为大模型-大脑相似性指标的有效性。通过使用连续的训练-测试划分和系统的特征消融分析，作者表明，先前研究中观察到的高脑部评分主要由这些平凡特征驱动，从而削弱了大模型与人类大脑共享核心计算原理的说法。

ABSTRACT

Given the remarkable capabilities of large language models (LLMs), there has been a growing interest in evaluating their similarity to the human brain. One approach towards quantifying this similarity is by measuring how well a model predicts neural signals, also called "brain score". Internal representations from LLMs achieve state-of-the-art brain scores, leading to speculation that they share computational principles with human language processing. This inference is only valid if the subset of neural activity predicted by LLMs reflects core elements of language processing. Here, we question this assumption by analyzing three neural datasets used in an impactful study on LLM-to-brain mappings, with a particular focus on an fMRI dataset where participants read short passages. We first find that when using shuffled train-test splits, as done in previous studies with these datasets, a trivial feature that encodes temporal autocorrelation not only outperforms LLMs but also accounts for the majority of neural variance that LLMs explain. We therefore use contiguous splits moving forward. Second, we explain the surprisingly high brain scores of untrained LLMs by showing they do not account for additional neural variance beyond two simple features: sentence length and sentence position. This undermines evidence used to claim that the transformer architecture biases computations to be more brain-like. Third, we find that brain scores of trained LLMs on this dataset can largely be explained by sentence length, position, and pronoun-dereferenced static word embeddings; a small, additional amount is explained by sense-specific embeddings and contextual representations of sentence structure. We conclude that over-reliance on brain scores can lead to over-interpretations of similarity between LLMs and brains, and emphasize the importance of deconstructing what LLMs are mapping to in neural signals.

研究动机与目标

• 调查大模型中的高脑部评分是否反映与人类大脑的真实语言相似性，还是由平凡的非语言特征驱动。
• 挑战在脑部评分评估中使用随机打乱的训练-测试划分的合理性，因为这可能受到fMRI数据中时间自相关性的影响。
• 通过将大模型表征与简单且理论上无意义的特征进行比较，系统性地剖析大模型表征实际上在预测神经信号时依赖什么。
• 证明未微调和微调的大模型之所以获得高脑部评分，并非由于语言计算，而是由于对基本结构和位置线索的编码。
• 倡导在推断大模型中存在类脑计算之前，对神经编码性能进行更严格的解构。

提出的方法

• 改用连续的训练-测试划分，而非随机打乱的划分，以消除fMRI数据中时间自相关性带来的污染。
• 引入并评估了句子长度、词位置和句子位置等简单特征，以解释神经活动方差。
• 应用带状回归（banded regression）评估大模型表征在这些简单特征之外还能解释多少额外方差。
• 使用单侧配对t检验并进行FDR校正，评估大模型性能相对于基线特征的统计显著性。
• 在三个数据集上进行消融研究：Pereira（fMRI）、Fedorenko（ECoG）和Blank（fMRI），聚焦于语言网络的体素。
• 通过大模型表征与神经活动之间的R²值测量脑部评分，跨层和被试比较模型与基线特征的表现。

Figure 1: Within each panel, EXP1 results are on the left and EXP2 results are on the right (a) $R^{2}$ values across layers for GPT2-XL on shuffled train-test splits (gray) and contiguous (unshuffled) splits (blue). (b) Each dot shows the mean $R^{2}$ value across voxels within a participant, with

实验结果

研究问题

• RQ1 在fMRI研究中，随机打乱的训练-测试划分在多大程度上由于时间自相关性而引入虚假相关性？
• RQ2 像句子长度和词位置这样的简单非语言特征，能否解释未微调和微调大模型的高脑部评分？
• RQ3 在Pereira fMRI数据集中，GPT2-XL解释的神经活动方差中，有多少可归因于句子位置和自相关性等特征？
• RQ4 在使用连续划分和适当的统计校正后，GPT2-XL在Blank fMRI数据集上的脑部评分是否仍显著高于随机水平？
• RQ5 大模型中的上下文表征和语义嵌入在多大程度上超越静态特征，对神经可预测性有额外贡献？

主要发现

• 在Pereira fMRI数据集中，随机打乱的训练-测试划分导致一个平凡特征——时间自相关性（OASM）——解释了GPT2-XL所解释方差的56.8%，且OASM本身解释了56.8%的神经活动方差。
• 未微调的GPT2-XL的高脑部评分几乎完全由句子长度和句子位置解释，其架构本身并未提供额外的解释力。
• 在Fedorenko ECoG数据集中，词位置（WP）解释了GPT2-XL所解释的90.8%的神经活动方差，且WP本身解释了GPT2-XL所解释方差的81.6%。
• 在Blank fMRI数据集中，当使用连续划分时，GPT2-XL的表现达到随机水平，经过FDR校正后无显著神经可预测性（1317个fROIs中无一显著）。
• 即使在控制了句子长度、句子位置和静态词嵌入后，GPT2-XL的语义嵌入和上下文表征也仅能额外解释神经活动方差的一小部分。
• 本研究得出结论：在未对底层特征进行解构的情况下过度依赖脑部评分，会导致对大模型-大脑相似性的过度解读，尤其是在简单非语言特征主导信号时。

Figure 2: For all panels, EXP1 results are on the left and EXP2 results are on the right. (a) $R^{2}$ for different combinations of features. Each dot represents $R^{2}$ values averaged across voxels in a single participant, with bars showing mean across participants. (b) 2D histogram of $R^{2}$ val