[論文レビュー] Testing the Predictions of Surprisal Theory in 11 Languages

Ethan Wilcox, Tiago Pimentel+3 more|arXiv (Cornell University)|Jan 1, 2023

Neurobiology of Language and Bilingualism被引用数 5

ひとこと要約

本研究は、11ヶ国語（5つの言語家系にまたがる）を用いて、眼動追跡データと言語モデルを用いて、語の予期せぬ度（surprisal）、文脈的エントロピー、線形リンク関数が読解時間に予測できるかどうかを検証する。結果として、3つの予測すべてに対して、強力な国際的・言語的普遍性が確認され、情報理論と段階的言語処理の関連性を、これまでで最も包括的に裏付ける証拠が得られた。

ABSTRACT

A fundamental result in psycholinguistics is that less predictable words take a longer time to process. One theoretical explanation for this finding is Surprisal Theory (Hale, 2001; Levy, 2008), which quantifies a word's predictability as its surprisal, i.e. its negative log-probability given a context. While evidence supporting the predictions of Surprisal Theory have been replicated widely, most have focused on a very narrow slice of data: native English speakers reading English texts. Indeed, no comprehensive multilingual analysis exists. We address this gap in the current literature by investigating the relationship between surprisal and reading times in eleven different languages, distributed across five language families. Deriving estimates from language models trained on monolingual and multilingual corpora, we test three predictions associated with surprisal theory: (i) whether surprisal is predictive of reading times; (ii) whether expected surprisal, i.e. contextual entropy, is predictive of reading times; (iii) and whether the linking function between surprisal and reading times is linear. We find that all three predictions are borne out crosslinguistically. By focusing on a more diverse set of languages, we argue that these results offer the most robust link to-date between information theory and incremental language processing across languages.

研究の動機と目的

• 予期せぬ度理論が英語以外の多様な言語に一般化するかどうかを検証すること。
• 文脈的エントロピー（期待される予期せぬ度）が読解時間に予測できるかどうかを評価すること。
• 予期せぬ度と読解時間の間の関係が線形かどうかを特定すること。
• 予期せぬ度の心理言語的読解時間予測において、単語言語モデルと多言語言語モデルを比較すること。
• これまでで最も包括的な言語的多様性をカバーした予期せぬ度理論の検証を提供すること。

提案手法

• 11ヶ国語の同一内容の並列テキストに眼動追跡データを提供するMECOデータセットを用いた。
• 大規模および小規模なコーパス（1言語あたり約3000万トークン）を用いて、単語言語モデルと多言語自己回帰言語モデル（mGPTおよび小規模な単語言語モデル）を学習した。
• 左文脈に基づく語の予期せぬ度を負の対数確率として計算し、文脈的エントロピーを、可能な継続語の予期せぬ度の期待値として算出した。
• 線形回帰モデルを用いて、語ごとの読解時間を予測し、予期せぬ度と文脈的エントロピーを予測変数とした。モデルの改善度は対数尤度を用いて評価した。
• 予期せぬ度と読解時間の間のリンク関数として、線形関数と非線形関数を比較した。
• 統計的有意性検定を用いて、予期せぬ度とエントロピーの導入が、ベースラインモデルに比べて予測力の向上に寄与しているかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 多様な言語において、予期せぬ度は読解時間に予測できるか？
• RQ2 文脈的エントロピー（期待される予期せぬ度）もまた、読解時間に予測できるか？
• RQ3 予期せぬ度と読解時間の間のリンク関数は線形か？
• RQ4 単語言語モデルと多言語言語モデルは、読解時間の予測においてどのように比較できるか？
• RQ5 結果はインド・ヨーロッパ語族を超えて一般化できる程度か？

主な発見

• テストされた11ヶ国語すべてにおいて、予期せぬ度が読解時間に有意に予測しており、予期せぬ度仮説が裏付けられた。
• 大多数の言語において、文脈的エントロピーが予期せぬ度よりも読解時間の予測に強く寄与しており、文脈的エントロピー仮説が支持された。
• 予期せぬ度と読解時間の間のリンク関数が線形であるモデルは、より複雑なモデルと同等の性能を示し、線形リンク仮説が支持された。
• 多言語モデル（mGPT）は、すべての言語で単語言語モデルと同等の読解時間予測性能を示した。
• 結果は一貫性があり、言語家系を超えて安定しており、予期せぬ度理論が多言語的・多様な言語タイプに強く一般化されることを示している。
• 本研究は、これまでで最も包括的な言語的多様性をカバーした予期せぬ度理論の検証を提供し、多様な言語タイプにおいて強く支持された。