[논문 리뷰] SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading

Maximilian M. Rabe, Dario Paape외 3명|arXiv (Cornell University)|2023. 03. 09.

Gaze Tracking and Assistive Technology참고 문헌 85인용 수 4

한 줄 요약

SEAM은 눈동자의 움직임 제어와 문장 처리를 결합한 새로운 계산 모델로, 눈동자의 움직임을 설명하는 SWIFT 모델과 문장 이해를 다루는 Lewis와 Vasishth의 문장 이해 프레임워크를 결합한다. MCMC를 통한 베이지안 추론을 사용하여 SEAM은 독서 중 유사성 기반 간섭 효과를 성공적으로 재현하였으며, 자연어 이해 분야에서 처음으로 통합된 역학적 모델임을 나타낸다.

ABSTRACT

Models of eye-movement control during reading, developed largely within psychology, usually focus on visual, attentional, lexical, and motor processes but neglect post-lexical language processing; by contrast, models of sentence comprehension processes, developed largely within psycholinguistics, generally focus only on post-lexical language processes. We present a model that combines these two research threads, by integrating eye-movement control and sentence processing. Developing such an integrated model is extremely challenging and computationally demanding, but such an integration is an important step toward complete mathematical models of natural language comprehension in reading. We combine the SWIFT model of eye-movement control (Seelig et al., 2020, doi:10.1016/j.jmp.2019.102313) with key components of the Lewis and Vasishth sentence processing model (Lewis & Vasishth, 2005, doi:10.1207/s15516709cog0000_25). This integration becomes possible, for the first time, due in part to recent advances in successful parameter identification in dynamical models, which allows us to investigate profile log-likelihoods for individual model parameters. We present a fully implemented proof-of-concept model demonstrating how such an integrated model can be achieved; our approach includes Bayesian model inference with Markov Chain Monte Carlo (MCMC) sampling as a key computational tool. The integrated Sentence-Processing and Eye-Movement Activation-Coupled Model (SEAM) can successfully reproduce eye movement patterns that arise due to similarity-based interference in reading. To our knowledge, this is the first-ever integration of a complete process model of eye-movement control with linguistic dependency completion processes in sentence comprehension. In future work, this proof of concept model will need to be evaluated using a comprehensive set of benchmark data.

연구 동기 및 목표

• 심리학 분야의 눈동자 움직임 제어 모델과 언어심리학 분야의 문장 처리 모델 간 격차를 메우기 위해.
• 독서 중 안구 운동 행동과 후어휘적 언어 처리를 동시에 포괄하는 통합된 역학적 모델을 개발하기 위해.
• 프로파일 로그우도 분석을 통해 복잡한 역학적 시스템에서 모델의 매개변수를 식별할 수 있도록 하기 위해.
• 눈동자 움직임과 문장 이해의 전체 과정 모델을 베이지안 MCMC 방법을 사용해 통합하는 것이 가능한지 입증하기 위해.
• 향후 종합 벤치마크 데이터를 대상으로 평가하기 위한 개념 증명 모델을 제공하기 위해.

제안 방법

• 눈동자 움직임 제어를 위한 SWIFT 모델과 Lewis 및 Vasishth의 문장 처리 모델의 핵심 요소를 통합하기 위해.
• 통합 모델의 매개변수 추정을 위해 마르코프 체인 몬테카를로(MCMC) 샘플링을 활용한 베이지안 추론을 사용하기 위해.
• 복잡한 동역학 시스템에서 개별 모델 매개변수를 식별하고 제약 조건을 설정하기 위해 프로파일 로그우도 분석을 적용하기 위해.
• 언어 처리가 공유되는 신경 활성 상태를 통해 안구 운동 패턴에 영향을 주는 활성화 결합 동역학을 구현하기 위해.
• 특히 문법적 유사성에 기인한 간섭 효과를 반영한 독서 행동의 실증 데이터를 사용하여 모델 校정하기 위해.
• 재현 가능성과 향후 확장 가능성을 위해 오픈소스 코드 및 데이터 저장소를 사용하기 위해.

실험 결과

연구 질문

• RQ1 통합된 역학적 모델이 독서 중 안구 운동 패턴과 문장 처리를 동시에 설명할 수 있는가?
• RQ2 복잡하고 고차원적인 동역학 시스템에서 매개변수를 신뢰성 있게 식별하고 추정할 수 있는가?
• RQ3 유사성 기반 간섭 현상이 통합된 언어 처리와 안구 운동 처리를 통해 어느 정도 재현될 수 있는가?
• RQ4 활성화 결합은 문장 이해 과정과 안구 운동 제어를 연결하는 데 어떤 역할을 하는가?
• RQ5 기존의 눈동자 움직임 모델과 문장 처리 모델을 하나의 일관된 계산 프레임워크로 통합하는 것이 가능한가?

주요 결과

• SEAM은 독서 중 유사성 기반 간섭과 관련된 안구 운동 패턴을 성공적으로 재현하였으며, 고정 지속 시간 증가와 후진 읽기(regressions)를 포함한다.
• 모델는 통합된 언어 처리와 안구 운동 동역학이 공통된 활성화 기반 프레임워크에서 유도될 수 있음을 보여준다.
• 프로파일 로그우도 분석을 통해 개별 모델 매개변수를 안정적으로 식별할 수 있었으며, 이는 모델의 타당성과 안정성을 뒷받침한다.
• 베이지안 MCMC 샘플링은 통합 모델의 고차원 매개변수 공간에 대해 강력한 추론을 제공하였다.
• 모델는 완전한 눈동자 움직임 제어 모델과 문장 처리 모델을 통합한 첫 번째 성공적인 개념 증명 통합 모델을 제공한다.
• 모든 데이터, 코드, 모델는 재현성과 확장 가능성을 위해 OSF 및 Potsdam 대학의 GitLab 저장소를 통해 공개되어 있다.