[논문 리뷰] Local word statistics affect reading times independently of surprisal

Adam Goodkind, Klinton Bicknell|ArXiv.org|2021. 03. 07.

Neurobiology of Language and Bilingualism참고 문헌 23인용 수 8

한 줄 요약

이 연구는 지역적 단어 전이 통계—특히 이항형 및 삼항형 확률—가 놀라움 이론의 核심 가정인 전체 맥락에 기반한 조건부 확률이 처리 곤란도의 유일한 결정 요인이라는 것을 전제로 하여, 독서 시간에 유의미한 영향을 미친다는 최초의 명확한 증거를 제시한다. 최신 언어 모델을 사용하여 저자들은 단어 빈도와 놀라움을 보정한 후에도 이항형 및 삼항형 확률이 독서 시간을 통계적으로 유의미하게 예측함을 보여주며, 언어 내 지역적 통계 패턴이 인간 문장 처리에 비례하여 크게 영향을 미친다는 것을 시사한다.

ABSTRACT

Surprisal theory has provided a unifying framework for understanding many phenomena in sentence processing (Hale, 2001; Levy, 2008a), positing that a word's conditional probability given all prior context fully determines processing difficulty. Problematically for this claim, one local statistic, word frequency, has also been shown to affect processing, even when conditional probability given context is held constant. Here, we ask whether other local statistics have a role in processing, or whether word frequency is a special case. We present the first clear evidence that more complex local statistics, word bigram and trigram probability, also affect processing independently of surprisal. These findings suggest a significant and independent role of local statistics in processing. Further, it motivates research into new generalizations of surprisal that can also explain why local statistical information should have an outsized effect.

연구 동기 및 목표

• 단어 빈도 이외의 지역적 단어 통계—특히 이항형 및 삼항형 확률—이 놀라움과 독립적으로 독서 시간에 영향을 미치는지 조사하는 것.
• 지역 통계가 처리에 미치는 영향이 일반적인 지역 패턴에 대한 민감도 때문인지, 아니면 단어 빈도에 특수한 민감도 때문인지 테스트하는 것.
• 높은 성능을 보이는 완전히 맥락화된 언어 모델을 사용하여 놀라움을 추정할 경우, n-gram 확률의 잔여 효과가 모델 정확도의 오류가 아닌지 확인하는 것.
• 놀라움 이론에서의 인과적 병목 가정을 도전하는 것—즉, 모든 처리 곤란이 이전 맥락에 기반한 조건부 확률에 의해 유일하게 발생한다는 주장

제안 방법

• 대규모 뉴스 텍스트 코퍼스에서 훈련된 최신 트랜스포머 기반 언어 모델을 사용하여 전체 이전 맥락에 기반한 단어 놀라움을 정밀하게 추정하였다.
• 놀라움은 모든 이전 단어를 고려한 단어의 조건부 확률의 음수 로그로 계산되었으며, −log p(wₙ|w₁,…,wₙ₋₁)로 표현되었다.
• 눈동자 추적 독서 시간을 예측하기 위해 혼합 효과 회귀 모델을 사용하였으며, 놀라움, 단어 빈도, 지역적 n-gram 확률(이항형 및 삼항형)을 예측 변수로 포함하였다.
• 이항형 및 삼항형 확률은 각각 p(wₙ|wₙ₋₁) 및 p(wₙ|wₙ₋₂,wₙ₋₁)로 계산되었으며, 회귀 모델에 별개의 예측 변수로 포함되었다.
• 처리 곤란에 영향을 미칠 수 있는 알려진 공변량(예: 단어 길이, 빈도, 문법적 복잡성)을 보정하여 n-gram 통계의 영향을 분리하였다.
• 모델 성능의 탄력성을 평가하기 위해 보류된 테스트 세트에서의 성능을 평가하였으며, 퍼플렉서티가 100 이하로 나타나 강력한 예측 정확도를 보였다.

실험 결과

연구 질문

• RQ1 이항형 및 삼항형 단어 전이 확률이 단어 빈도와 전체 맥락 기반 놀라움을 보정한 후에도 독서 시간에 영향을 미치는가?
• RQ2 지역적 단어 통계가 처리에 미치는 영향이 일반적인 지역 패턴 민감도 때문인지, 아니면 단어 빈도에 특수한 민감도 때문인지?
• RQ3 높은 성능의 언어 모델이 놀라움을 적절히 추정할 수 있는가? 이 경우 n-gram 확률의 잔여 효과는 모델 정확도의 오류가 아닌가?
• RQ4 이항형 및 삼항형과 같은 지역 통계가 놀라움 이론이 예측하는 바를 초월하여 인간 문장 처리에 측정 가능한 독립적 영향을 미치는가?

주요 결과

• 단어 빈도와 놀라움을 보정한 후에도 이항형 및 삼항형 확률이 독서 시간을 통계적으로 유의미하게 예측하며, 처리 곤란에 독립적인 영향을 미친다는 것을 입증한다.
• 보류된 테스트 세트에서 퍼플렉서티가 100 이하인 고성능 언어 모델을 사용한 결과, 지역 통계의 효과가 모델 정확도에 영향을 받지 않고 유의미하게 유지됨을 확인하여 결과의 탄력성을 입증한다.
• 놀라움 이론의 인과적 병목 가정—즉, 모든 처리 곤란이 이전 맥락에 기반한 조건부 확률에 의해 유일하게 발생한다는 주장—을 도전한다.
• 지역적 단어 전이 통계—단어 빈도를 초월하여—독서 시간에 비례하여 크게 영향을 미친다는 점을 시사하며, 문장 처리의 새로운 계산 이론 수립이 필요하다는 것을 암시한다.
• 결과는 비합리적 처리 전략(예: 지각 학습)과 노이즈가 있는 맥락 기반 처리의 합리적 모델(예: 노이즈 있는 맥락 기반 놀라움) 모두와 일치하지만, 이들 사이의 차이를 구분하지는 못한다.
• 지역 통계가 놀라움과 독립적으로 처리에 영향을 미친다는 강력한 증거를 제공하며, 현재의 문장 이해 모델이 지역 통계 패턴을 명시적으로 통합해야 할 필요가 있음을 시사한다.