[论文解读] Can Entropy Explain Successor Surprisal Effects in Reading?

Marten van Schijndel, Tal Linzen|arXiv (Cornell University)|Oct 26, 2018

Text Readability and Simplification参考文献 15被引用 7

一句话总结

本研究检验了阅读中的后续词意外性效应——即对后续词语可预测性的感知会影响对前序词语的注视时间——是否可完全由读者的不确定性（以熵衡量）来解释。基于自定节奏阅读语料库的LSTM语言模型结果显示，熵与后续词意外性独立预测阅读时间，表明仅靠不确定性无法完全解释这些效应。

ABSTRACT

Human reading behavior is sensitive to surprisal: more predictable words tend to be read faster. Unexpectedly, this applies not only to the surprisal of the word that is currently being read, but also to the surprisal of upcoming (successor) words that have not been fixated yet. This finding has been interpreted as evidence that readers can extract lexical information parafoveally. Calling this interpretation into question, Angele et al. (2015) showed that successor effects appear even in contexts in which those successor words are not yet visible. They hypothesized that successor surprisal predicts reading time because it approximates the reader's uncertainty about upcoming words. We test this hypothesis on a reading time corpus using an LSTM language model, and find that successor surprisal and entropy are independent predictors of reading time. This independence suggests that entropy alone is unlikely to be the full explanation for successor surprisal effects.

研究动机与目标

• 评估Angele等人（2015）提出的假设，即阅读中的后续词意外性效应是否完全由读者不确定性（以熵衡量）解释。
• 检验熵（即未来词语的期望意外性）是否构成后续词意外性效应的潜在机制。
• 检验基于单一神经语言模型估计的后续词意外性预测力是否可还原为熵。
• 探究计算约束（如不确定性估计中词汇范围有限）是否影响熵与阅读时间之间的关系。
• 确定读者的处理过程是否涉及对多个可能延续的并行预测，基于对完整词汇表与top-K词汇表的熵估计。

提出的方法

• 使用LSTM语言模型计算自定节奏阅读语料库中每个词语的后续词意外性与熵，消除周边视野预览效应。
• 将熵定义为所有可能后续词语的期望意外性：$ H(w_t) = -\sum_{w_{t+1} \in V} P(w_{t+1}|w_{1...t}) \log P(w_{t+1}|w_{1...t}) $。
• 使用相同模型分布计算后续词意外性：$ \text{surprisal}(w_{t+1}) = -\log P(w_{t+1}|w_{1...t}) $。
• 对阅读时间进行线性回归，同时以熵和后续词意外性为预测变量，检验其独立贡献。
• 比较基于完整词汇表与top-K个最可能延续词的熵估计，以评估计算约束的影响。
• 使用自定节奏阅读语料库，确保无周边视野预览，从而将语言可预测性的影响与视觉处理分离。

实验结果

研究问题

• RQ1 阅读时间中的后续词意外性是否完全由读者不确定性（以熵衡量）解释？
• RQ2 当基于同一语言模型估计时，熵与后续词意外性是否独立预测阅读时间？
• RQ3 若将熵估计限制在top-K个最可能的延续词，其预测力是否弱于后续词意外性？
• RQ4 当熵计算基于更大范围的未来词语时，其预测力是否增强，还是仅限于下一个词？
• RQ5 在控制熵之后，后续词意外性的残余影响是否可由不确定性估计中的处理限制解释？

主要发现

• 熵与后续词意外性独立预测阅读时间，表明后续词意外性效应并非仅由对下一个词的不确定性驱动。
• 当熵基于完整词汇表计算时，其对阅读时间的预测力强于仅基于top-K个最可能延续词的估计。
• 当熵估计被限制在top-K个延续词时，其预测力下降，而后续词意外性仍保持强预测力，表明读者可能考虑了广泛可能的延续。
• 在控制熵后，后续词意外性仍具有独立贡献，暗示其效应可能由超越不确定性的额外认知机制所支持。
• 结果挑战了后续词意外性效应仅为熵的代理这一假设，支持读者处理的不仅是对下一个词的期望不确定性。
• 基于完整词汇表估计的不确定性优于top-K估计，表明读者可能同时预测大量潜在的词语延续。