[論文レビュー] On the Effect of Anticipation on Reading Times

Tiago Pimentel, Clara Meister+3 more|arXiv (Cornell University)|Nov 25, 2022

Text Readability and Simplification被引用数 4

ひとこと要約

本稿は、読者が予測可能な単語を予測する「予測処理」が、すでに見た単語に基づく「反応的処理」よりも読解時間に影響を与えるかどうかを調査している。4つの自然主義的読解データセットを用いて、文脈的エントロピー（予測の不確実性の指標）が、4つのデータセットのうち3つにおいて、驚異度（surprisal）よりも読解時間の予測に優れていることを示している。特に、Rényiエントロピー（α=1/2）がシャノンエントロピーを上回っており、読者が予測の確実性ではなく、妥当な継続語の数に基づいて予測している可能性を示唆している。

ABSTRACT

Over the past two decades, numerous studies have demonstrated how less predictable (i.e., higher surprisal) words take more time to read. In general, these studies have implicitly assumed the reading process is purely responsive: Readers observe a new word and allocate time to process it as required. We argue that prior results are also compatible with a reading process that is at least partially anticipatory: Readers could make predictions about a future word and allocate time to process it based on their expectation. In this work, we operationalize this anticipation as a word's contextual entropy. We assess the effect of anticipation on reading by comparing how well surprisal and contextual entropy predict reading times on four naturalistic reading datasets: two self-paced and two eye-tracking. Experimentally, across datasets and analyses, we find substantial evidence for effects of contextual entropy over surprisal on a word's reading time (RT): in fact, entropy is sometimes better than surprisal in predicting a word's RT. Spillover effects, however, are generally not captured by entropy, but only by surprisal. Further, we hypothesize four cognitive mechanisms through which contextual entropy could impact RTs -- three of which we are able to design experiments to analyze. Overall, our results support a view of reading that is not just responsive, but also anticipatory.

研究の動機と目的

• 読解行動が、すでに見た単語に対する反応的処理に加え、将来の単語に対する予測的処理によっても駆動されているかどうかを調査すること。
• 予測の不確実性を測る文脈的エントロピーが、驚異度よりも読解時間の予測に優れているかどうかを検証すること。
• 予測が読解時間に影響を与える可能性がある4つの認知的メカニズム（単語スキッピング、予算配分、事前処理、不確実性コスト）を検討すること。
• Rényiエントロピー（α=1/2）が、シャノンエントロピーに比べて予測の操作化に優れているかどうかを評価すること。
• 予測効果が、驚異度に起因するものとは独立して、読解時間データに検出可能かどうかを特定すること。

提案手法

• 予測の不確実性を測る指標として、Rényiエントロピー（α=1/2）を用いて予測の操作化を実施した。
• 2つのセルフペースドリーディングと2つのアイトラッキングデータセットを用い、驚異度と文脈的エントロピーの両方が読解時間に与える影響を比較した。
• 線形混合効果モデルを用いて、単語長や他の共変量を制御したうえで、驚異度とエントロピーの読解時間への予測力の有効性を評価した。
• 単語スキッピング、予算配分、事前処理、不確実性コストの4つの認知的メカニズムについて、実験を設計して予測の影響を検証した。
• Rényiエントロピーの部分加法性および超過加法性の性質を応用し、理論的整合性を裏付けるために、その予測力の妥当性を検証した。
• データセットの統計と、驚異度とエントロピーのスピアマン相関を分析し、結果がノイズの影響によるものではないことを除外した。

実験結果

リサーチクエスチョン

• RQ1 文脈的エントロピーは、驚異度よりも読解時間の予測に優れているか？ これは予測的処理の存在を示唆する。
• RQ2 単語スキッピングや事前処理などの特定の認知的メカニズムが、予測が読解時間に与える影響を介して存在するか？
• RQ3 Rényiエントロピー（α=1/2）は、シャノンエントロピーに比べて予測の操作化に優れているか？
• RQ4 読解時間のスプライルオーバー効果は、驚異度に起因するものであり、文脈的エントロピーに起因するものではないか？
• RQ5 驚異度とエントロピーの高い相関（図3に示す）が、エントロピーの優れた予測力の原因であるとは言えないか？

主な発見

• 文脈的エントロピーは、4つのデータセットのうち3つにおいて読解時間の有意な予測要因であり、そのうち2つでは驚異度を上回る予測力を持っていた。
• Rényiエントロピー（α=1/2）は、シャノンエントロピーに比べて一貫してより強い予測モデルを提供しており、読者が予測の確実性ではなく、妥当な単語の継続の数に基づいて予測している可能性を示唆している。
• 読解時間のスプライルオーバー効果は、驚異度によって捉えられていたが、文脈的エントロピーでは捉えられていなかった。これは、エントロピーが反応的処理効果ではなく、予測的処理を反映していることを示している。
• 驚異度とエントロピーの強い相関（図3に示す）が、エントロピーの優れた予測力の原因であるとは言えない。これは、単なるノイズ平均化によるものではないことを排除している。
• 結果は、読解が純粋に反応的であるのではなく、予測的である読解モデルを支持しており、読者が将来の単語に対する期待に基づいて処理時間を割り当てていることを示している。
• 本研究は、予測（特に不確実性に基づく予測）が読解時間の割り当てに測定可能な役割を果たしているという実証的証拠を提供している。