[논문 리뷰] Can Entropy Explain Successor Surprisal Effects in Reading?

Marten van Schijndel, Tal Linzen|arXiv (Cornell University)|2018. 10. 26.

Text Readability and Simplification참고 문헌 15인용 수 7

한 줄 요약

이 연구는 독서 중 다음 단어의 예측 가능성에 따라 이전 단어의 정지 시간이 영향을 받는 '후속자 예측 어색함 효과'(successor surprisal effects)가 독자의 불확실성, 즉 엔트로피로 완전히 설명될 수 있는지 테스트한다. 자기주도 독서 코퍼스에 기반한 LSTM 언어 모델을 사용하여, 엔트로피와 후속자 예측 어색함이 독서 시간을 독립적으로 예측함을 발견함으로써, 이러한 효과가 불확실성만으로 설명될 수는 없다는 결론을 도출한다.

ABSTRACT

Human reading behavior is sensitive to surprisal: more predictable words tend to be read faster. Unexpectedly, this applies not only to the surprisal of the word that is currently being read, but also to the surprisal of upcoming (successor) words that have not been fixated yet. This finding has been interpreted as evidence that readers can extract lexical information parafoveally. Calling this interpretation into question, Angele et al. (2015) showed that successor effects appear even in contexts in which those successor words are not yet visible. They hypothesized that successor surprisal predicts reading time because it approximates the reader's uncertainty about upcoming words. We test this hypothesis on a reading time corpus using an LSTM language model, and find that successor surprisal and entropy are independent predictors of reading time. This independence suggests that entropy alone is unlikely to be the full explanation for successor surprisal effects.

연구 동기 및 목표

• Angele 등(2015)이 제안한 바와 같이 독서에서 후속자 예측 어색함 효과가 독자의 불확실성에 의해 완전히 설명되는지 평가하기 위해.
• 엔트로피—미래의 단어들에 대한 기대 예측 어색함—이 후속자 예측 어색함 효과의 기초가 되는 메커니즘인지 테스트하기 위해.
• 같은 신경망 언어 모델에서 추정된 엔트로피와 후속자 예측 어색함이 독서 시간에 대해 예측력을 가지는지, 그리고 그 예측력이 엔트로피로 환원 가능한지 조사하기 위해.
• 불확실성 추정 시 계산 제약, 예를 들어 어휘 범위의 제한 등이 엔트로피와 독서 시간 간의 관계에 영향을 주는지 조사하기 위해.
• 독자가 엔트로피 추정치를 전체 어휘와 상위-K 어휘에 대해 비교함으로써, 동시에 여러 가능한 이어짐을 예측하는지 여부를 조사하기 위해.

제안 방법

• 자기주도 독서 코퍼스의 각 단어에 대해 LSTM 언어 모델을 사용해 후속자 예측 어색함과 엔트로피를 계산함으로써, 부근시각 예고 효과를 제거함.
• 엔트로피를 모든 가능한 다음 단어에 대한 기대 예측 어색함으로 계산함: $ H(w_t) = -\sum_{w_{t+1} \in V} P(w_{t+1}|w_{1...t}) \log P(w_{t+1}|w_{1...t}) $.
• 동일한 모델 분포를 사용해 후속자 예측 어색함을 $ \text{surprisal}(w_{t+1}) = -\log P(w_{t+1}|w_{1...t}) $ 로 추정함.
• 독서 시간을 엔트로피와 후속자 예측 어색함에 대해 선형 회귀 분석을 수행해 두 변수의 독립적 기여도를 테스트함.
• 전체 어휘와 상위-K 확률을 가진 연속어에 대해 엔트로피 추정치를 비교하여 계산 제약의 영향을 평가함.
• 부근시각 예고가 없도록 자기주도 독서 코퍼스를 사용하여 언어적 예측 가능성과 시각 처리 간의 영향을 분리함.

실험 결과

연구 질문

• RQ1 독서 시간에서 후속자 예측 어색함 효과가 엔트로피로 측정된 독자의 불확실성에 의해 완전히 설명되는가?
• RQ2 동일한 언어 모델에서 추정된 엔트로피와 후속자 예측 어색함이 독서 시간을 독립적으로 예측하는가?
• RQ3 상위-K 확률을 가진 연속어로 엔트로피 추정을 제한할 경우, 그 예측력이 후속자 예측 어색함에 비해 약화되는가?
• RQ4 더 큰 범위의 미래 단어에 대해 엔트로피를 계산할 경우 그 예측력이 증가하는가, 아니면 즉각적인 다음 단어에 국한되는가?
• RQ5 엔트로피를 고려한 후에도 후속자 예측 어색함의 잔여 영향은 불확실성 추정의 처리 제약으로 설명될 수 있는가?

주요 결과

• 엔트로피와 후속자 예측 어색함이 독서 시간을 독립적으로 예측함을 확인하여, 후속자 예측 어색함 효과가 다음 단어에 대한 불확실성에 의해만 유도되는 것은 아님을 시사함.
• 전체 어휘에 대해 엔트로피를 계산한 경우, 상위-K 확률 연속어로 제한한 경우보다 독서 시간에 대한 예측력이 더 강함.
• 상위-K 연속어로 제한된 엔트로피의 예측력은 감소했지만, 후속자 예측 어색함은 여전히 강력한 예측자였으며, 독자가 광범위한 가능한 이어짐을 고려하고 있음을 시사함.
• 엔트로피를 통제한 후에도 후속자 예측 어색함의 독립적 기여는 예측 어색함 효과를 뒷받침하는 추가적인 인지 메커니즘이 존재할 수 있음을 시사함.
• 결과는 후속자 예측 어색함 효과가 엔트로피의 단순한 대체 지표라는 가설을 도전하며, 독자가 다음 단어에 대한 기대 불확실성 외에도 더 많은 것을 처리하고 있음을 지지함.
• 전체 어휘에 대해 추정한 불확실성이 상위-K 추정치보다 더 뛰어난 성능을 보인다는 발견은 독자가 동시에 많은 수의 잠재적 단어 이어짐을 예측하고 있음을 시사함.