[論文レビュー] SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading

Maximilian M. Rabe, Dario Paape+3 more|arXiv (Cornell University)|Mar 9, 2023

Gaze Tracking and Assistive Technology参考文献 85被引用数 4

ひとこと要約

SEAM は、眼動制御と文処理を統合する画期的な計算モデルであり、眼動の SWIFT モデルと、レイモンド・ルイスとヴァシシュトの文理解フレームワークを結合することで実現された。ベイズ推論による MCMC を用いて、SEAM は読解における類似性に基づく干渉効果を成功裏に再現し、自然言語理解分野における最初の統合的動的モデルとしての意義を持つ。

ABSTRACT

Models of eye-movement control during reading, developed largely within psychology, usually focus on visual, attentional, lexical, and motor processes but neglect post-lexical language processing; by contrast, models of sentence comprehension processes, developed largely within psycholinguistics, generally focus only on post-lexical language processes. We present a model that combines these two research threads, by integrating eye-movement control and sentence processing. Developing such an integrated model is extremely challenging and computationally demanding, but such an integration is an important step toward complete mathematical models of natural language comprehension in reading. We combine the SWIFT model of eye-movement control (Seelig et al., 2020, doi:10.1016/j.jmp.2019.102313) with key components of the Lewis and Vasishth sentence processing model (Lewis & Vasishth, 2005, doi:10.1207/s15516709cog0000_25). This integration becomes possible, for the first time, due in part to recent advances in successful parameter identification in dynamical models, which allows us to investigate profile log-likelihoods for individual model parameters. We present a fully implemented proof-of-concept model demonstrating how such an integrated model can be achieved; our approach includes Bayesian model inference with Markov Chain Monte Carlo (MCMC) sampling as a key computational tool. The integrated Sentence-Processing and Eye-Movement Activation-Coupled Model (SEAM) can successfully reproduce eye movement patterns that arise due to similarity-based interference in reading. To our knowledge, this is the first-ever integration of a complete process model of eye-movement control with linguistic dependency completion processes in sentence comprehension. In future work, this proof of concept model will need to be evaluated using a comprehensive set of benchmark data.

研究の動機と目的

• 心理学における眼動制御モデルと、心理言語学における文処理モデルの間のギャップを埋めること。
• 読解中に見られる眼運動行動と後語彙的言語処理を両方捉える統一的動的モデルの構築。
• プロファイル対数尤度分析を用いた、複雑な動的システムにおけるパラメータ同定。
• ベイズ MCMC 法を用いた、眼動と文理解の完全プロセスモデルの統合の可能性の実証。
• 将来的な包括的ベンチマークデータに対する評価のための概念実証モデルの提供。

提案手法

• 眼動制御の SWIFT モデルと、ルイスとヴァシシュトの文処理モデルの核となる要素の統合。
• 結合モデルにおけるパラメータ推定に、マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いたベイズ推論の適用。
• 動的システムにおける個々のモデルパラメータの同定と制約に、プロファイル対数尤度分析の応用。
• 活性化結合ダイナミクスの実装：言語処理が共有される神経活性化状態を通じて眼動パターンに影響を与える仕組み。
• 特に構文的類似性に起因する干渉効果を含む、読解行動に関する実証データを用いたモデルキャリブレーション。
• 再現可能性と将来的な拡張のため、オープンソースのコードおよびデータリポジトリの利用。

実験結果

リサーチクエスチョン

• RQ1 統一的動的モデルは、読解中の眼動パターンと文処理を同時に説明できるか？
• RQ2 複雑で高次元な動的システムにおけるパラメータを、信頼性を持って同定・推定できるか？
• RQ3 類似性に基づく干渉効果が、統合された言語的および眼動制御処理によってどれほど再現可能か？
• RQ4 活性化結合は、文理解プロセスと眼動制御の間を結ぶ役割を果たすか？
• RQ5 既存の眼動モデルと文理解モデルを、一つの整合的計算フレームワークに統合することは可能か？

主な発見

• SEAM は、類似性に基づく干渉に起因する眼動パターン（例えば、固定時間の延長や後退視線）を成功裏に再現した。
• モデルは、共有される活性化に基づくフレームワークから、統合的言語処理と眼動ダイナミクスが生じうることを示した。
• プロファイル対数尤度分析により、個々のモデルパラメータの信頼性ある同定が可能となり、モデルの妥当性と安定性が裏付けられた。
• ベイズ MCMC サンプリングにより、統合モデルの高次元パラメータ空間に対する強固な推論が実現された。
• モデルは、完全な眼動制御モデルと文処理モデルを統合した最初の成功例としての概念実証モデルを提供した。
• すべてのデータ、コード、モデルは、OSF およびポツダム大学の GitLab リポジトリを通じて公開されており、再現性と拡張性を確保している。