[论文解读] Local word statistics affect reading times independently of surprisal

Adam Goodkind, Klinton Bicknell|ArXiv.org|Mar 7, 2021

Neurobiology of Language and Bilingualism参考文献 23被引用 8

一句话总结

本研究首次提供了明确证据，表明局部词转移统计——特别是二元语法和三元语法概率——在独立于意外度（surprisal）的情况下显著影响阅读时间，从而挑战了意外度理论的核心假设，即给定完整上下文的条件概率是处理难度的唯一决定因素。通过使用最先进的语言模型，作者表明，在控制了词频和意外度后，二元语法和三元语法概率仍能以统计显著性预测阅读时间，表明语言中的局部统计模式对人类句子处理具有显著且独立的影响。

ABSTRACT

Surprisal theory has provided a unifying framework for understanding many phenomena in sentence processing (Hale, 2001; Levy, 2008a), positing that a word's conditional probability given all prior context fully determines processing difficulty. Problematically for this claim, one local statistic, word frequency, has also been shown to affect processing, even when conditional probability given context is held constant. Here, we ask whether other local statistics have a role in processing, or whether word frequency is a special case. We present the first clear evidence that more complex local statistics, word bigram and trigram probability, also affect processing independently of surprisal. These findings suggest a significant and independent role of local statistics in processing. Further, it motivates research into new generalizations of surprisal that can also explain why local statistical information should have an outsized effect.

研究动机与目标

• 调查除词频之外的局部词统计——特别是二元语法和三元语法概率——是否在独立于意外度的情况下影响阅读时间。
• 检验局部统计对处理的影响是源于对局部模式的一般性敏感性，还是特定于词频。
• 确定当使用高性能、完全上下文相关的语言模型来估计意外度时，这些效应是否依然存在。
• 挑战意外度理论中的因果瓶颈假设，该假设认为所有处理难度均完全源于给定先前上下文的条件概率。

提出的方法

• 在大规模新闻文本语料上训练了一个最先进的基于Transformer的语言模型，以基于完整前序上下文计算精确的词意外度估计值。
• 意外度计算为给定所有先前词的词的负对数概率：−log p(wₙ|w₁,…,wₙ₋₁)，使用训练好的语言模型计算。
• 使用混合效应回归模型预测眼动追踪阅读时间，将意外度、词频和局部n-gram概率（二元语法和三元语法）作为预测变量。
• 二元语法和三元语法概率分别计算为p(wₙ|wₙ₋₁)和p(wₙ|wₙ₋₂,wₙ₋₁)，并作为回归模型中的独立预测变量包含在内。
• 通过控制词长、词频和句法复杂度等已知协变量，以隔离n-gram统计的影响。
• 通过在保留测试集上的模型性能评估结果的稳健性，困惑度低于100，表明预测准确性较强。

实验结果

研究问题

• RQ1 在控制词频和完整上下文意外度后，二元语法和三元语法词转移概率是否仍能独立影响阅读时间？
• RQ2 局部词统计对处理的影响是源于对局部模式的一般性敏感性，还是特定于词频？
• RQ3 高性能语言模型是否能充分估计意外度，使得n-gram概率的残余效应并非模型不准确导致的人为结果？
• RQ4 诸如二元语法和三元语法等局部统计是否对人类句子处理具有可测量且独立的影响，超出意外度理论的预测范围？

主要发现

• 在控制词频和意外度后，二元语法和三元语法概率仍能显著预测阅读时间，表明其对处理难度具有独立影响。
• 当使用在保留测试集上困惑度低于100的高性能语言模型时，局部统计的影响依然显著，表明结果对模型准确性具有稳健性。
• 研究结果挑战了意外度理论中的因果瓶颈假设，该假设声称所有处理难度完全源于给定先前上下文的条件概率。
• 研究结果表明，局部词转移统计——不仅限于词频——对阅读时间具有显著影响，暗示需要提出新的句子处理计算理论。
• 结果与非理性处理策略（如感知学习）以及嘈杂上下文处理的理性模型（如嘈杂上下文意外度）一致，但无法在二者之间做出区分。
• 本研究提供了强有力的证据，表明局部统计在独立于意外度的情况下影响处理过程，提示当前句子理解模型可能需要显式纳入局部统计模式。