[논문 리뷰] Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities

Suhas Arehalli, Brian Dillon외 1명|arXiv (Cornell University)|2022. 10. 21.

Neurobiology of Language and Bilingualism인용 수 6

한 줄 요약

이 연구는 신경어휘모델이 문법적 예측 가능성에 대한 가중치를 충분히 부여하지 않아 인간의 가든패스 효과를 과소평가하는지 조사한다. 어휘 예측 가능성과 독립적으로 문법적 놀라움을 추정할 수 있는 방법을 도입함으로써, 저자들은 문법적 놀라움이 처리 곤란도 예측에 도움이 되지만, 여전히 모호한 문장에서 인간의 독서 시간 지연의 크기를 완전히 포괄하지 못함을 보여준다.

ABSTRACT

Humans exhibit garden path effects: When reading sentences that are temporarily structurally ambiguous, they slow down when the structure is disambiguated in favor of the less preferred alternative. Surprisal theory (Hale, 2001; Levy, 2008), a prominent explanation of this finding, proposes that these slowdowns are due to the unpredictability of each of the words that occur in these sentences. Challenging this hypothesis, van Schijndel & Linzen (2021) find that estimates of the cost of word predictability derived from language models severely underestimate the magnitude of human garden path effects. In this work, we consider whether this underestimation is due to the fact that humans weight syntactic factors in their predictions more highly than language models do. We propose a method for estimating syntactic predictability from a language model, allowing us to weigh the cost of lexical and syntactic predictability independently. We find that treating syntactic predictability independently from lexical predictability indeed results in larger estimates of garden path. At the same time, even when syntactic predictability is independently weighted, surprisal still greatly underestimate the magnitude of human garden path effects. Our results support the hypothesis that predictability is not the only factor responsible for the processing cost associated with garden path sentences.

연구 동기 및 목표

• 신경어휘모델이 인간의 가든패스 효과를 과소평가하는 이유가 문법적 예측 가능성에 대한 가중치 부족에서 비롯되는지 조사하기 위해.
• 신경어휘모델 내에서 어휘 예측 가능성과 독립적으로 문법적 놀라움을 추정할 수 있는 방법을 개발하기 위해.
• 문법적 놀라움을 통합함으로써 문법적으로 모호한 문장에서 인간의 독서 시간 지연을 예측하는 데에 효과가 향상되는지 테스트하기 위해.
• 모델 예측과 인간 데이터 간의 지속적인 격차가 놀라움 이론 자체로는 가든패스 효과를 설명할 수 없음을 평가하기 위해.

제안 방법

• 사전 훈련된 언어모델에서 추출한 CCG 슈퍼태그를 사용하여 어휘 내용과 분리된 문법적 구조를 고려한 문법적 놀라움을 추정하는 방법을 제안하였다.
• 문맥에 기반한 예측된 문법적 범주에 대한 음의 로그 확률을 계산하여 문법적 놀라움을 계산하였으며, 이는 문법 구문 분석 작업에 대해 훈련된 모델을 사용하였다.
• 각 단어에 대해 문법적 놀라움과 어휘적 놀라움 추정치를 조합하여 가든패스 문장과 비가든패스 문장의 복합 놀라움 점수를 계산하였다.
• 복합 놀라움 점수를 사용하여 독서 시간을 예측하였으며, 비가든패스 문장에서 유도된 보정 계수를 적용하였다.
• 세 가지 다른 문법적 구성에서 모델 예측된 가든패스 효과 크기와 실증적 인간 독서 시간 데이터를 비교하였다.
• 예측된 독서 시간 차이와 관측된 독서 시간 차이 간의 상관관계를 평가하여, 문법적 놀라움이 어휘적 놀라움만으로는 인간 처리 곤란을 더 잘 반영하는지 테스트하였다.

실험 결과

연구 질문

• RQ1 어휘적 놀라움과 문법적 놀라움을 분리함으로써 신경어휘모델이 인간의 가든패스 효과를 더 잘 예측할 수 있는가?
• RQ2 문법적 놀라움이 모호한 문장에서 인간의 독서 시간 지연의 크기를 어느 정도 설명할 수 있는가?
• RQ3 가든패스 효과의 지속적인 과소평가가 신경어휘모델이 문법적 구조를 어떻게 가중하는지에 대한 한계에서 기인하는가?
• RQ4 어휘적 예측 가능성과 문법적 예측 가능성을 독립적으로 다루는 모델이 예측된 처리 곤란도와 관측된 처리 곤란도 간 격차를 줄일 수 있는가?

주요 결과

• 어휘적 놀라움과 독립적으로 추정된 문법적 놀라움은 어휘적 놀라움만으로 추정할 때보다 가든패스 효과의 크기를 더 크게 예측한다.
• 문법적 놀라움을 포함시킨 후에도 모델 예측은 여전히 가든패스 문장에서 인간의 독서 시간 지연의 크기를 크게 과소평가한다.
• 단어 빈도와 문법적 놀라움 간의 양의 상관관계를 발견하여, 문법적 놀라움이 어휘 빈도에 의해 영향을 받지 않는 예측 가능성의 별개 차원을 포착하고 있음을 확인하였다.
• 어휘적으로 놀라운데 문법적으로 예측 가능한 단어들이 확인되었으며, 이는 문법적 놀라움과 어휘적 놀라움이 완전히 상관되지 않음을 확인하였다.
• 조금 더 향상된 문법적 예측 가능성 추정을 하더라도, 놀라움 이론만으로는 인간의 가든패스 구성에서 처리 곤란을 완전히 설명할 수 없다는 결과가 도출되었다.
• 모델 예측과 인간 데이터 간의 지속적인 격차는 놀라움 이론 외의 요소—예를 들어 재분석 과정—이 가든패스 효과의 근본 원인일 수 있음을 암시한다.