[論文レビュー] Context Limitations Make Neural Language Models More Human-Like

Tatsuki Kuribayashi, Yohei Oseki+2 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用数 8

ひとこと要約

本稿は、現代のニューラル言語モデル（LMs）の文脈長を制限することで、心理測定予測力（PPP）で測定した人間の読解行動のシミュレーション能力が顕著に向上することを示している。TransformerベースのLMにn-gram風の文脈切り詰めを適用することで、人間の作業記憶の限界を模倣した短い文脈アクセスが、特に構文的に複雑な構造において、人間の読解時間とより良い一致を示すことが明らかになった。

ABSTRACT

Language models (LMs) have been used in cognitive modeling as well as engineering studies -- they compute information-theoretic complexity metrics that simulate humans' cognitive load during reading. This study highlights a limitation of modern neural LMs as the model of choice for this purpose: there is a discrepancy between their context access capacities and that of humans. Our results showed that constraining the LMs' context access improved their simulation of human reading behavior. We also showed that LM-human gaps in context access were associated with specific syntactic constructions; incorporating syntactic biases into LMs' context access might enhance their cognitive plausibility.

研究の動機と目的

• 現代のニューラル言語モデルにおける文脈アクセスの制限が、読解中の人的認知的負荷のシミュレーションを改善するかどうかを調査すること。
• 現代のLMが持つ広範な文脈アクセスと、人間が限られた選択的文脈アクセスを行うというギャップを是正すること。
• 構文的構造が、文脈制限による認知的妥当性の向上効果に与える影響を調査すること。
• より高い次単語予測精度（低いパープレクサリティ）が、常に優れた認知モデリング性能をもたらすという仮定に疑問を呈すること。
• 文脈アクセスメカニズムに構文的バイアスを組み込むことで、ニューラル言語モデルの認知的妥当性を向上させられることを提唱すること。

提案手法

• 事前学習済みのTransformerベース言語モデルにn-gram風の技法を適用し、限られた作業記憶を模倣する文脈長の切り詰めを実施した。
• 最近年のnトークン（例：n=2, 4, 8, 16）のみを用いて驚異度スコアを計算し、文脈制約下での段階的処理を模倣した。
• 280の実験的設定において、人間のアイトラッキングデータとの一致を評価する心理測定予測力（PPP）を用いてモデル性能を評価した。
• 構文的構造に関する探索的分析を実施し、短いまたは長い文脈アクセスが特に効果を発揮する構造を特定した。
• パープレクサリティ（PPL）とPPPを相関させ、より良い次単語予測精度が、より優れた認知モデリング性能に一致するかどうかを評価した。
• タイプオロジカルに異なる言語（英語および日本語）の多言語データを用いて、一般化可能性をテストした。

実験結果

リサーチクエスチョン

• RQ1 ニューラル言語モデルにおける文脈アクセスの制限が、人間の読解行動の予測能力を向上させるか？
• RQ2 異なる文脈長（例：n=2, 4, 8, 16）が言語モデルの心理測定予測力（PPP）に与える影響は何か？
• RQ3 短いまたは長い文脈アクセスが特に効果を発揮する特定の構文的構造はあるか？
• RQ4 次単語予測精度（パープレクサリティ）と認知的妥当性（PPP）の間にトレードオフがあるか？
• RQ5 文脈アクセスメカニズムに構文的バイアスを組み込むことで、ニューラル言語モデルの認知的妥当性をさらに向上させられるか？

主な発見

• 短い文脈アクセス（例：n=2–4）を有する言語モデルは、完全な文脈を用いるモデルに比べ、心理測定予測力（PPP）が高いため、人間の読解時間をよりよく予測していた。
• 短い文脈アクセスによるPPP向上効果は、複数の言語モデルおよびタイプオロジカルに多様な言語（英語および日本語）において一貫して観察された。
• パープレクサリティ（PPL）とPPPの間に強い負の相関は認められず、むしろピアソンの相関係数はわずかに正であった（r=0.15）。これは、より良い次単語予測が、必ずしもより優れた認知モデリングを意味しないことを示している。
• 特に長距離依存性を含む構文的構造は、文脈長に極めて感受性が高く、文脈制限が一様に有益であるとは限らないことを示唆している。
• 本研究では、文脈制限効果が構文的構造全体にわたって系的に分布していることが判明し、今後のモデルにおいて構文的バイアスを用いて文脈アクセスを最適化できる可能性があることを示している。
• 結果は、限られた作業記憶が処理を制限する人間の文処理の記憶ベースの説明を支持しており、完全な文脈の驚異度ではなく、損失を伴う文脈の驚異度が、より認知的に妥当な指標である可能性を示唆している。