[论文解读] Modeling Task Effects in Human Reading with Neural Attention

Michael Hahn, Frank Keller|arXiv (Cornell University)|Jul 31, 2018

Topic Modeling参考文献 62被引用 9

一句话总结

该论文提出了一种神经模型，通过整合任务特定注意力机制与记忆功能，解释人类阅读行为，特别是单词跳过现象。通过在任务性能与注视次数之间进行权衡优化，该模型能准确预测人类的跳过模式和阅读时间——即使跳过40%的单词——并在眼动追踪实验中验证了任务依赖性跳过行为，实验基于神经机器阅读理解任务。

ABSTRACT

Humans read by making a sequence of fixations and saccades. They often skip words, without apparent detriment to understanding. We offer a novel explanation for skipping: readers optimize a tradeoff between performing a language-related task and fixating as few words as possible. We propose a neural architecture that combines an attention module (deciding whether to skip words) and a task module (memorizing the input). We show that our model predicts human skipping behavior, while also modeling reading times well, even though it skips 40% of the input. A key prediction of our model is that different reading tasks should result in different skipping behaviors. We confirm this prediction in an eye-tracking experiment in which participants answers questions about a text. We are able to capture these experimental results using the our model, replacing the memorization module with a task module that performs neural question answering.

研究动机与目标

• 解释读者为何在阅读过程中跳过单词，尽管跳过并非理解所必需。
• 建模任务需求如何影响人类阅读中的单词跳过行为。
• 开发一种神经架构，联合优化任务性能与最小化注视次数。
• 通过不同阅读任务下的眼动追踪数据，验证模型预测的准确性。
• 证明任务特定的神经阅读理解模块能够复现人类的跳过行为。

提出的方法

• 整合一个神经注意力模块，根据任务相关性决定跳过哪些单词。
• 使用一个任务模块，用于记忆和处理特定阅读任务（如问答）的输入。
• 在训练过程中优化任务性能与注视减少之间的权衡。
• 端到端地在文本序列上训练模型，注意力权重决定跳过决策。
• 用神经问答头替换记忆模块，以模拟任务特定的阅读行为。
• 将模型预测结果与受控实验中收集的人类眼动追踪数据进行对比评估。

实验结果

研究问题

• RQ1 任务需求在多大程度上影响人类阅读中的单词跳过行为？
• RQ2 一个在任务性能与注视减少之间进行权衡的神经模型，能否准确预测人类的跳过模式？
• RQ3 该模型的跳过行为在不同阅读任务之间是否存在显著差异？
• RQ4 神经问答模块能否在任务特定阅读中复现类人跳过行为？
• RQ5 该模型在多大程度上能准确预测实际的人类阅读时间和注视模式？

主要发现

• 该模型即使在跳过40%输入单词的情况下，仍能以高精度预测人类的单词跳过行为。
• 该模型对阅读时间的预测表现良好，与人类阅读模式高度一致。
• 眼动追踪实验证实，不同阅读任务导致不同的跳过行为，验证了模型的核心预测。
• 将记忆模块替换为神经问答头后，模型能够复现人类参与者中观察到的任务依赖性跳过行为。
• 该模型的注意力机制能有效识别任务相关单词，在不损害理解的前提下减少注视次数。
• 任务性能与注视减少之间的权衡被证明是人类阅读策略的关键驱动力。