[论文解读] How well does surprisal explain N400 amplitude under different experimental conditions?

James A. Michaelov, Benjamin K. Bergen|arXiv (Cornell University)|Oct 9, 2020

Neurobiology of Language and Bilingualism参考文献 62被引用 41

一句话总结

本研究调查了基于循环神经网络语言模型（RNN-LM）测量的意外性（surprisal）是否能预测多种神经语言学实验中的N400振幅。研究发现，在大多数条件下，意外性能较好地解释N400振幅，但在涉及量词、事件结构违规和形态句法异常的情况下则失败，表明N400所反映的语义和词汇处理涉及的不仅仅是语言的统计预测。

ABSTRACT

We investigate the extent to which word surprisal can be used to predict a neural measure of human language processing difficulty - the N400. To do this, we use recurrent neural networks to calculate the surprisal of stimuli from previously published neurolinguistic studies of the N400. We find that surprisal can predict N400 amplitude in a wide range of cases, and the cases where it cannot do so provide valuable insight into the neurocognitive processes underlying the response.

研究动机与目标

• 检验基于循环神经网络语言模型（RNN-LM）的意外性是否能预测一系列神经语言学实验条件下的N400振幅。
• 识别意外性预测与实际N400反应之间的系统性差异，从而揭示纯粹统计语言模型在捕捉神经认知处理方面的局限性。
• 探讨是否需要超越自下而上的统计学习的额外认知机制（如激活扩散或语义加权），才能完全解释N400反应。
• 评估RNN-LM作为人类语言处理模型的认知合理性，特别是与N400成分的关系。

提出的方法

• 在六项已发表研究中的11项实验的刺激材料上，使用两种预训练的RNN-LM架构（Jozefowicz et al., 2016；Gulordava et al., 2018）计算意外性。
• 应用标准的意外性公式：S(wi) = −log P(wi|w1...wi−1)，其中意外性反映在给定前文条件下某个词出现的逆概率。
• 将模型预测的意外性与已发表的ERP研究中实测的N400振幅进行比较，以评估预测准确性。
• 系统评估模型在各种实验条件下的表现，包括填空概率、语义相关性、典型性、异常性、量词、形态句法/事件结构违规等。
• 使用统计检验评估意外性预测的显著差异是否与N400振幅的显著差异相关。
• 探索通过引入语义相似性加权（例如，通过句子向量）是否能改善模型预测与人类神经反应的一致性。

实验结果

研究问题

• RQ1 在多种实验条件下，来自RNN-LM的意外性在多大程度上能预测N400振幅？
• RQ2 在哪些语言语境中，意外性无法预测N400振幅？这些失败揭示了何种潜在的神经认知机制？
• RQ3 是否存在某些特定语言现象（如量词、事件结构违规或形态句法异常），使得意外性对N400反应产生过高或过低的预测？
• RQ4 引入语义相似性或激活扩散机制是否能提升基于RNN-LM的意外性模型对N400反应的预测能力？

主要发现

• 在11项实验条件中的9项中，来自RNN-LM的意外性能显著预测N400振幅，包括填空概率、语义相关性和语义典型性。
• 对于涉及量词的刺激（Urbach & Kutas, 2010），意外性未能再现N400结果中‘典型’名词与‘少数’或‘稀少’搭配时振幅降低的现象，表明需要对量化关系有更明确的表征。
• 在事件结构违规任务中（Kim & Osterhout, 2005），意外性对违规的敏感度高于N400振幅，吸引效应违规刺激的意外性高于对照组，尽管其N400振幅更低，表明意外性在这些情况下高估了处理难度。
• 对于形态句法异常（Ainsworth-Darnell et al., 1998），意外性预测语义异常但句法正确的词的振幅值低于语义和句法均异常的词，与人类N400数据相矛盾，表明模型未能充分捕捉人类对句法结构的敏感性。
• 本研究结论认为，尽管意外性能捕捉N400反应的许多方面，但在需要更深层次语义整合或句法敏感性的场景中会失败，暗示需要引入如激活扩散等额外机制。
• 结果支持N400振幅无法仅由语言输入完全解释的观点，且神经认知过程涉及的远不止统计语言预测。