[논문 리뷰] On the Effect of Anticipation on Reading Times

Tiago Pimentel, Clara Meister외 3명|arXiv (Cornell University)|2022. 11. 25.

Text Readability and Simplification인용 수 4

한 줄 요약

이 논문은 독자가 다가올 단어를 예측함으로써 영향을 받는 예측 처리(anticipatory processing)가, 이미 본 단어의 반응 처리(surprisal 기반)보다 독서 시간에 영향을 미치는지 조사한다. 네 개의 자연스러운 독서 데이터셋을 사용하여, 맥락적 엔트로피(예측 불확실성의 척도)가 네 개의 데이터셋 중 세 곳에서 Surprisal보다 독서 시간을 더 잘 예측하는 것으로 나타났으며, 특히 Rényi 엔트로피(α=1/2)가 색erals 엔트로피보다 더 뛰어난 성능을 보여, 독자가 예측 불확실성보다는 유의미한 계속어휘의 수에 기반해 예측함을 시사한다.

ABSTRACT

Over the past two decades, numerous studies have demonstrated how less predictable (i.e., higher surprisal) words take more time to read. In general, these studies have implicitly assumed the reading process is purely responsive: Readers observe a new word and allocate time to process it as required. We argue that prior results are also compatible with a reading process that is at least partially anticipatory: Readers could make predictions about a future word and allocate time to process it based on their expectation. In this work, we operationalize this anticipation as a word's contextual entropy. We assess the effect of anticipation on reading by comparing how well surprisal and contextual entropy predict reading times on four naturalistic reading datasets: two self-paced and two eye-tracking. Experimentally, across datasets and analyses, we find substantial evidence for effects of contextual entropy over surprisal on a word's reading time (RT): in fact, entropy is sometimes better than surprisal in predicting a word's RT. Spillover effects, however, are generally not captured by entropy, but only by surprisal. Further, we hypothesize four cognitive mechanisms through which contextual entropy could impact RTs -- three of which we are able to design experiments to analyze. Overall, our results support a view of reading that is not just responsive, but also anticipatory.

연구 동기 및 목표

• 독서 행동이 이미 본 단어에 대한 반응 처리 외에도 다가올 단어에 대한 예측 처리에 의해 영향을 받는지 조사하기 위해.
• 맥락적 엔트로피—예측 불확실성을 측정하는 척도—가 Surprisal보다 독서 시간을 더 효과적으로 예측할 수 있는지 테스트하기 위해.
• 예측이 독서 시간에 영향을 주는 방식으로 작용할 수 있는 네 가지 인지 기제(단어 건너뛰기, 예산 배분, 사전 처리, 불확실성 비용)를 탐색하기 위해.
• Rényi 엔트로피(α=1/2)가 색럴 엔트로피보다 독자들의 기대를 더 잘 구현하는지 평가하기 위해.
• 예측 효과가 Surprisal에 의해 설명되는 바를 초월해 독서 시간 데이터에서 감지 가능한지 판단하기 위해.

제안 방법

• 예측의 운영화를 위해 맥락적 엔트로피를 사용하였으며, 향후 단어에 대한 예측 불확실성의 척도로 Rényi 엔트로피(α=1/2)를 사용하였다.
• 자기 주도 독서 두 개와 눈동자 추적 데이터셋 두 개를 포함한 네 개의 데이터셋에서 Surprisal과 맥락적 엔트로피가 독서 시간에 미치는 영향을 비교하였다.
• 선형 혼합 효과 모델을 사용하여 Surprisal과 엔트로피가 독서 시간에 미치는 예측 능력을 평가하였으며, 단어 길이 및 기타 공변량을 통제하였다.
• 단어 건너뛰기, 예산 배분, 사전 처리, 불확실성 비용의 네 가지 예측 인지 기제를 시험하기 위한 실험을 설계하였다.
• Rényi 엔트로피의 부분합성 및 초합성 성질을 적용하여 이가 이론적으로 탄탄한 예측 변수임을 검증하였다.
• 데이터셋 통계와 Surprisal 및 엔트로피 간의 스피어만 상관관계 분석을 통해 결과의 소음 기반 설명을 배제하였다.

실험 결과

연구 질문

• RQ1 맥락적 엔트로피가 Surprisal보다 독서 시간을 더 잘 예측하는가? 이는 예측 처리를 시사하는가?
• RQ2 단어 건너뛰기나 사전 처리와 같은 특정 인지 기제들이 예측이 독서 시간에 영향을 주는 방식으로 작용하는가?
• RQ3 α=1/2인 Rényi 엔트로피가 색럴 엔트로피보다 예측의 운영화에 더 나은가?
• RQ4 독서 시간의 확산 효과는 Surprisal 때문이지 맥락적 엔트로피 때문인가?
• RQ5 Surprisal과 엔트로피 간의 높은 상관관계로 인해 Surprisal 추정의 소음이 원인일 수 있는가? 엔트로피의 예측 능력은 이 소음과 독립적인가?

주요 결과

• 맥락적 엔트로피는 네 개의 데이터셋 중 세 곳에서 독서 시간의 유의미한 예측 변수였으며, 이 중 두 곳에서는 Surprisal보다 더 나은 예측 성능을 보였다.
• Rényi 엔트로피(α=1/2)는 색럴 엔트로피보다 일관되게 더 강력한 예측 모델을 제공하였으며, 독자가 유의미한 계속어휘의 수에 기반해 예측할 수 있음을 시사한다.
• 독서 시간의 확산 효과는 Surprisal에 의해 포착되었지만 맥락적 엔트로피에선 포착되지 않아, 엔트로피가 후처리 효과가 아닌 예측을 반영함을 시사한다.
• 그림 3에 나타난 바와 같이 Surprisal과 엔트로피 간의 강한 상관관계는 엔트로피의 뛰어난 예측 능력을 설명하지 못하며, 단순한 소음 평균화가 원인임을 배제한다.
• 결과는 순수하게 반응적인 독서 모델이 아니라 예측 기반의 독서 모델을 지지하며, 독자가 다가올 단어에 대한 기대에 따라 처리 시간을 할당함을 시사한다.
• 이 연구는 예측—특히 불확실성 기반 예측—이 독서 시간 할당에 측정 가능한 역할을 한다는 경험적 증거를 제공한다.