[論文レビュー] Local word statistics affect reading times independently of surprisal

Adam Goodkind, Klinton Bicknell|ArXiv.org|Mar 7, 2021

Neurobiology of Language and Bilingualism参考文献 23被引用数 8

ひとこと要約

本研究は、局所的な語の遷移統計、特にbigramおよびtrigram確率が、予想外度とは独立して読解時間に顕著な影響を及える最初の明確な証拠を提供している。これは、予想外度理論の核心的仮定、すなわち、完全な文脈下での条件付き確率が処理の困難さの唯一の要因であるという仮定に挑戦するものである。著者らは最先端の言語モデルを用いて、語の頻度と予想外度を制御した後でも、bigramおよびtrigram確率が読解時間の予測に統計的に有意であることを示した。これは、言語における局所的な統計的パターンが、人間の文処理に著しく独立した影響を及ぼしていることを示している。

ABSTRACT

Surprisal theory has provided a unifying framework for understanding many phenomena in sentence processing (Hale, 2001; Levy, 2008a), positing that a word's conditional probability given all prior context fully determines processing difficulty. Problematically for this claim, one local statistic, word frequency, has also been shown to affect processing, even when conditional probability given context is held constant. Here, we ask whether other local statistics have a role in processing, or whether word frequency is a special case. We present the first clear evidence that more complex local statistics, word bigram and trigram probability, also affect processing independently of surprisal. These findings suggest a significant and independent role of local statistics in processing. Further, it motivates research into new generalizations of surprisal that can also explain why local statistical information should have an outsized effect.

研究の動機と目的

• 語の頻度を超える局所的語統計、特にbigramおよびtrigram確率が、予想外度とは独立して読解時間に影響を与えるかどうかを調査すること。
• 局所的統計が処理に与える影響が、一般の局所的パターンへの感受性によるものか、それとも語の頻度に特異的であるかを検証すること。
• 高精度な、完全に文脈依存の言語モデルを用いて予想外度を推定した場合でも、n-gram確率の残存効果がモデルの不正確さに起因するものでないかを検証すること。
• 予想外度理論における因果的バリアンプ（causal bottleneck）仮定に挑戦すること。この仮定は、すべての処理の困難さが、先行文脈に基づく条件付き確率に起因すると主張している。

提案手法

• 大規模なニューステキストコーパス上で訓練された、最先端のトランスフォーマー基盤の言語モデルを用いて、完全な先行文脈に基づく語の予想外度の正確な推定値を算出した。
• 予想外度は、すべての直前語を考慮したもとでの語の負の対数確率として計算された：−log p(wₙ|w₁,…,wₙ₋₁)，訓練済み言語モデルを用いて算出された。
• 混合効果回帰モデルを用いて眼動作記録の読解時間を予測し、予想外度、語の頻度、および局所的n-gram確率（bigramおよびtrigram）を予測子とした。
• bigramおよびtrigram確率は、それぞれp(wₙ|wₙ₋₁)およびp(wₙ|wₙ₋₂,wₙ₋₁)として計算され、回帰モデルに別個の予測子として組み込まれた。
• 語長、頻度、文法的複雑さなどの既知の共変量を制御することで、n-gram統計の効果を明確に分離した。
• 妥当性の評価として、ホールドアウトテストセットにおけるモデルの性能を評価し、100未満のパープレキシティを示した。これは予測精度が非常に高いことを示している。

実験結果

リサーチクエスチョン

• RQ1 bigramおよびtrigram語遷移確率が、語の頻度と完全文脈下の予想外度を制御した後でも、読解時間に独立して影響を与えるか？
• RQ2 局所的語統計が処理に与える影響が、一般の局所的パターンへの感受性によるものか、それとも語の頻度に特異的であるか？
• RQ3 高精度な言語モデルが予想外度を適切に推定できれば、n-gram確率の残存効果がモデルの不正確さに起因するものでないか？
• RQ4 bigramおよびtrigramのような局所的統計が、予想外度理論が予測する範囲を超えて、人間の文処理に測定可能で独立した影響を与えるか？

主な発見

• 語の頻度と予想外度を制御した後でも、bigramおよびtrigram確率が読解時間を有意に予測する。これは処理の困難さに独立した影響があることを示している。
• ホールドアウトテストセットでパープレキシティが100未満の高精度な言語モデルを用いた場合でも、局所的統計の効果が有意に残存した。これは、モデルの正確性に依存しない堅牢な結果であることを示している。
• 結果は、予想外度理論における因果的バリアンプ仮定に挑戦するものである。この仮定は、すべての処理の困難さが、先行文脈に基づく条件付き確率に起因すると主張している。
• 局所的語遷移統計（語の頻度を超えて）が読解時間に著しく影響を与えるという結果は、現在の文理解の計算モデルが、局所的な統計的パターンを明示的に組み込む必要があることを示唆している。
• 結果は、非合理的な処理戦略（例：知覚的学習）と、ノイズのある文脈を考慮する合理的モデル（例：ノイズのある文脈における予想外度）の両方と整合的であるが、それらの間を区別することはできない。
• 本研究は、局所的統計が予想外度とは独立して処理に影響を与える強力な証拠を提供しており、現在の文理解モデルが局所的統計的パターンを明示的に組み込む必要があることを示唆している。