[论文解读] Language models and brains align due to more than next-word prediction and word-level information

Gabriele Merlin, Mariya Toneva|arXiv (Cornell University)|Dec 1, 2022

Topic Modeling被引用 14

一句话总结

本文研究语言模型（LM）与脑记录之间的对齐是否仅源于下一个词预测和词级语义。通过应用刺激调谐（在叙事文本上微调）和词序打乱（破坏可预测性但保留语义），作者表明，即使在控制了下一个词预测和词级语义后，大脑对齐性——尤其在下额回（inferior frontal gyrus）和角回（angular gyrus）中——依然保持增强，表明多词语义在LM-大脑对齐中起着关键作用。

ABSTRACT

Pretrained language models have been shown to significantly predict brain recordings of people comprehending language. Recent work suggests that the prediction of the next word is a key mechanism that contributes to this alignment. What is not yet understood is whether prediction of the next word is necessary for this observed alignment or simply sufficient, and whether there are other shared mechanisms or information that are similarly important. In this work, we take a step towards understanding the reasons for brain alignment via two simple perturbations in popular pretrained language models. These perturbations help us design contrasts that can control for different types of information. By contrasting the brain alignment of these differently perturbed models, we show that improvements in alignment with brain recordings are due to more than improvements in next-word prediction and word-level information.

研究动机与目标

• 确定下一个词预测和词级语义是否为语言模型与脑记录对齐所必需。
• 分离下一个词预测、词级语义和多词语义对大脑对齐的贡献。
• 探究微调后大脑对齐性提升是否源于更好的预测能力或更丰富的语义表征。
• 评估当下一个词预测被破坏但词级语义被保留时，大脑对齐性是否依然存在。
• 识别在关键语言处理脑区中驱动对齐的具体语言信息类型。

提出的方法

• 在保留的刺激叙事文本上微调预训练的GPT-2模型（刺激调谐），以提升该特定文本的下一个词预测能力和语义表征。
• 在推理时应用词序打乱，以降低下一个词预测性能，同时保留词级语义并可能保持多词语义结构。
• 通过语言模型表征与人类受试者听相同叙事时的fMRI记录之间的相关性来测量大脑对齐性。
• 在多个脑区比较基线模型、刺激调谐模型和打乱版本模型的对齐性能。
• 跟踪打乱和未打乱输入上的下一个词预测性能，以确认打乱降低了可预测性但保持了语义内容。
• 将分析重点放在两个与语言相关的脑区：下额回（IFG）和角回（AG），这两个区域以句法和事件结构处理著称。

实验结果

研究问题

• RQ1 下一个词预测是否为语言模型表征与脑记录对齐所必需的，还是仅充分条件？
• RQ2 词级语义的改善在微调后对增强大脑对齐性的贡献有多大？
• RQ3 当通过词序打乱破坏下一个词预测但保留词级语义时，大脑对齐性是否依然存在？
• RQ4 在IFG和AG中，哪种语言信息——下一个词预测、词级语义还是多词语义——对对齐性贡献最大？
• RQ5 在小段叙事文本上微调是否能提升对未见刺激的脑记录对齐性，且这种提升是否源于超越预测能力的语义丰富性？

主要发现

• 刺激调谐显著提升了语言模型与脑记录的对齐性，尤其在下额回（IFG）和角回（AG）中。
• 词序打乱使基线模型和刺激调谐模型的下一个词预测性能下降程度相似，证实可预测性被有效破坏。
• 尽管下一个词预测性能下降程度相似，但打乱后刺激调谐模型的大脑对齐性仍显著高于基线模型，表明对齐性并非仅源于预测能力。
• 在打乱后IFG和AG中仍保持的对齐性表明，多词语义——如句法结构和事件级语义——对大脑对齐性有显著贡献。
• 结果表明，微调后大脑对齐性的提升不能完全由增强的下一个词预测或词级语义解释，而是部分源于更丰富的多词语义表征。
• 研究结果支持如下假设：IFG和AG等脑区对多词语义结构敏感，这与其在句法和事件级处理中的已知功能一致。