[论文解读] Modeling Task Effects on Meaning Representation in the Brain via Zero-Shot MEG Prediction

Mariya Toneva, Otilia Stretcu+3 more|arXiv (Cornell University)|Sep 17, 2020

Neurobiology of Language and Bilingualism参考文献 37被引用 10

一句话总结

本研究提出了一种零样本计算框架，利用磁脑图（MEEG）建模任务语义如何影响大脑中的意义表征。通过基于刺激和任务语义预测毫秒级分辨率的MEG反应，作者发现任务效应在后期语义加工阶段（475–550 ms）显著提升了预测准确率，表明只有单词加工的末期是任务依赖的，且效应局限于额叶和颞叶。

ABSTRACT

How meaning is represented in the brain is still one of the big open questions in neuroscience. Does a word (e.g., bird) always have the same representation, or does the task under which the word is processed alter its representation (answering "can you eat it?" versus "can it fly?")? The brain activity of subjects who read the same word while performing different semantic tasks has been shown to differ across tasks. However, it is still not understood how the task itself contributes to this difference. In the current work, we study Magnetoencephalography (MEG) brain recordings of participants tasked with answering questions about concrete nouns. We investigate the effect of the task (i.e. the question being asked) on the processing of the concrete noun by predicting the millisecond-resolution MEG recordings as a function of both the semantics of the noun and the task. Using this approach, we test several hypotheses about the task-stimulus interactions by comparing the zero-shot predictions made by these hypotheses for novel tasks and nouns not seen during training. We find that incorporating the task semantics significantly improves the prediction of MEG recordings, across participants. The improvement occurs 475-550ms after the participants first see the word, which corresponds to what is considered to be the ending time of semantic processing for a word. These results suggest that only the end of semantic processing of a word is task-dependent, and pose a challenge for future research to formulate new hypotheses for earlier task effects as a function of the task and stimuli.

研究动机与目标

• 探究任务需求如何塑造大脑中单词意义的神经表征。
• 开发一种计算框架，基于刺激和任务语义预测MEG反应，并推广至未见过的刺激和任务。
• 测试并比较关于神经加工中任务-刺激交互作用的多种假设。
• 确定任务效应在语义加工过程中何时何地于大脑中出现。
• 为神经科学家提供方法论基础，以测试和比较关于任务依赖性意义表征的机制假设。

提出的方法

• 作者训练预测模型，将刺激（具体名词）与任务（问题）的联合表征映射到单次试验的MEG记录。
• 使用基于人工标注判断和预训练语言模型推导出的分布式向量表征来编码任务和刺激语义。
• 在零样本设置下评估模型，即对训练期间未见过的新刺激-任务对进行预测。
• 采用交叉验证评估模型性能和统计显著性，并应用多重比较校正。
• 该框架可通过评估其在脑记录上的预测能力，直接比较关于任务-刺激交互作用的多种假设。
• 通过分析刺激呈现后连续50 ms时间窗内预测性能的提升，分析任务效应的时间动态。

实验结果

研究问题

• RQ1 任务的语义是否会调制大脑中单词的神经表征？
• RQ2 在加工过程中，任务效应对意义表征的影响在哪些时间点变得显著？
• RQ3 哪些神经区域在语义加工期间表现出任务依赖的调制？
• RQ4 关于任务-刺激交互作用的不同计算假设在预测脑活动方面表现如何比较？
• RQ5 零样本模型能否准确预测新刺激-任务对的MEG反应？

主要发现

• 在单词呈现后475–550 ms的时间窗口内，将任务语义纳入预测模型可显著提升MEG记录的预测准确率。
• 任务效应在475–550 ms时间窗达到峰值，与语义加工的末期一致，表明只有后期语义加工是任务依赖的。
• 在600–650 ms时间窗观察到次要效应，局限于颞叶，可能与为反应准备而维持任务相关的语义信息有关。
• 额叶在早期任务效应中的参与与注意力功能一致，支持任务效应可能源于注意力调制的假设。
• 在所测试的假设中，H4.1（任务特定交互模型）表现最强，但所有包含任务的模型均优于不包含任务语义的基线模型。
• 结果表明，未来的意义表征模型应区分任务不变的早期加工与任务依赖的晚期加工。