[論文レビュー] Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities

Suhas Arehalli, Brian Dillon+1 more|arXiv (Cornell University)|Oct 21, 2022

Neurobiology of Language and Bilingualism被引用数 6

ひとこと要約

本研究では、ニューラル言語モデルが文法的予測可能性の重み付けが不十分であるため、人間のガーデンパト効果を低く見積もっているかどうかを調査する。文法的驚き（syntactic surprisal）を語彙的驚き（lexical surprisal）とは独立して推定する手法を導入することで、著者らは文法的驚きが処理の難易度の予測を改善するが、依然として曖昧な文における人間の読解時間の遅延の大きさを完全に捉えられていないことを示した。

ABSTRACT

Humans exhibit garden path effects: When reading sentences that are temporarily structurally ambiguous, they slow down when the structure is disambiguated in favor of the less preferred alternative. Surprisal theory (Hale, 2001; Levy, 2008), a prominent explanation of this finding, proposes that these slowdowns are due to the unpredictability of each of the words that occur in these sentences. Challenging this hypothesis, van Schijndel & Linzen (2021) find that estimates of the cost of word predictability derived from language models severely underestimate the magnitude of human garden path effects. In this work, we consider whether this underestimation is due to the fact that humans weight syntactic factors in their predictions more highly than language models do. We propose a method for estimating syntactic predictability from a language model, allowing us to weigh the cost of lexical and syntactic predictability independently. We find that treating syntactic predictability independently from lexical predictability indeed results in larger estimates of garden path. At the same time, even when syntactic predictability is independently weighted, surprisal still greatly underestimate the magnitude of human garden path effects. Our results support the hypothesis that predictability is not the only factor responsible for the processing cost associated with garden path sentences.

研究の動機と目的

• ニューラル言語モデルが人間のガーデンパト効果を低く見積もっている原因が、文法的予測可能性の重み付けが不十分であるかどうかを調査すること。
• ニューラル言語モデルにおいて、語彙的驚きとは独立して文法的驚きを推定する手法を開発すること。
• 文法的驚きを組み込むことで、文法的に曖昧な文における人間の読解時間遅延の予測が改善されるかどうかをテストすること。
• モデルの予測と人間のデータとの間の継続的な乖離が、驚き理論そのものではガーデンパト効果を完全に説明できないことを示唆するかどうかを評価すること。

提案手法

• 事前学習済み言語モデルから得られるCCGスーパークラスタグを用いて、語彙的コンテンツとは分離された文法的構造を推定する手法を提案した。
• 文脈に基づく予測された文法的カテゴリの負の対数確率として文法的驚きを計算し、文法解析タスクに特化した訓練済みモデルを用いた。
• 各単語について、文法的驚きと語彙的驚きの推定値を組み合わせ、ガーデンパト文および曖昧でない文の各単語に対して統合驚きスコアを算出した。
• 統合驚きスコアを用いて読解時間を予測し、非ガーデンパト文から導出された換算係数を適用した。
• 3つの文法構造について、モデルが予測したガーデンパト効果の大きさと、実験的ヒトの読解時間データを比較した。
• 予測された読解時間差と観察された読解時間差の相関を評価し、語彙的驚きのみよりも文法的驚きが人間の処理をよりよく捉えているかどうかを検証した。

実験結果

リサーチクエスチョン

• RQ1 文法的驚きと語彙的驚きを分離することで、ニューラル言語モデルにおける人間のガーデンパト効果の予測が改善されるか？
• RQ2 文法的驚きが、曖昧な文における人間の読解時間遅延の大きさをどの程度説明できるか？
• RQ3 ガーデンパト効果の継続的低評価は、ニューラル言語モデルが文法的構造の重み付けに限界をもつことによるものか？
• RQ4 文法的予測可能性と語彙的予測可能性を独立して扱うモデルは、予測された処理の難易度と観察された処理の難易度の差を埋めることができるか？

主な発見

• 語彙的驚きとは独立して推定された文法的驚きは、語彙的驚きのみを用いた場合よりも、ガーデンパト効果の大きさをより大きく予測する。
• 文法的驚きを組み込んでも、モデルの予測は依然としてガーデンパト文における人間の読解時間遅延の大きさを顕著に低く見積もっている。
• 語彙頻度と文法的驚きの間に正の相関が見られたことから、文法的驚きが語彙頻度とは関係のない予測可能性の別次元を捉えていることが示された。
• 語彙的に驚きやすいが文法的に予測可能な語が特定されたことから、文法的驚きと語彙的驚きが完全に相関していないことが確認された。
• 文法的予測可能性の推定を改善しても、驚き理論がガーデンパト構文における人間の処理の難易度を完全に説明できないことが示唆された。
• モデルの予測と人間のデータとの継続的乖離は、予測可能性を超えた要因（おそらく再分析プロセス）がガーデンパト効果の背後にある可能性を示唆している。