[논문 리뷰] Why Does Surprisal From Larger Transformer-Based Language Models Provide a Poorer Fit to Human Reading Times?

Byung-Doh Oh, William Schuler|arXiv (Cornell University)|2022. 12. 23.

Topic Modeling인용 수 6

한 줄 요약

이 연구는 더 크고 낮은 퍼플렉서티를 가진 트랜스포머 기반 언어 모델이 인간의 독서 시간을 예측하는 데 떨어지는 놀라움 추정치를 생성하는 이유를 조사한다. GPT-Neo와 OPT 모델을 대상으로 한 회귀 분석과 잔차 분석을 통해, 더 큰 모델이 훈련 데이터를 과도하게 기억함으로써 개방계 어휘, 특히 명사어의 독서 시간을 체계적으로 과소 예측한다는 점을 발견하였으며, 이는 퍼플렉서티가 향상됨에도 불구하고 인지적 타당성이 감소한다는 것을 시사한다.

ABSTRACT

This work presents a detailed linguistic analysis into why larger Transformer-based pre-trained language models with more parameters and lower perplexity nonetheless yield surprisal estimates that are less predictive of human reading times. First, regression analyses show a strictly monotonic, positive log-linear relationship between perplexity and fit to reading times for the more recently released five GPT-Neo variants and eight OPT variants on two separate datasets, replicating earlier results limited to just GPT-2 (Oh et al., 2022). Subsequently, analysis of residual errors reveals a systematic deviation of the larger variants, such as underpredicting reading times of named entities and making compensatory overpredictions for reading times of function words such as modals and conjunctions. These results suggest that the propensity of larger Transformer-based models to 'memorize' sequences during training makes their surprisal estimates diverge from humanlike expectations, which warrants caution in using pre-trained language models to study human language processing.

연구 동기 및 목표

• 더 크고 낮은 퍼플렉서티를 가진 트랜스포머 기반 언어 모델이 인간의 독서 시간을 예측하는 데 떨어지는 놀라움 추정치가 덜 예측 가능해지는 이유를 조사하기 위해.
• 더 높은 모델 용량이 더 나쁜 예측 적합도와 관련이 있다는 역설적인 경향이 GPT-2 이외의 다양한 모델 아키텍처에서도 유지되는지 테스트하기 위해.
• 잔차 오차 분석을 통해 더 큰 모델이 인간 독서 행동과 어떻게 다름을 특정 언어 현상에서 밝혀내기 위해.
• 모델 크기가 증가할수록 인지적 타당성이 떨어지므로 NLP 분야에서 '크면 클수록 좋다'는 기존의 가정을 도전하기 위해.
• 심리언어학적 모델링에서 더 작은 사전학습된 언어 모델을 더 신뢰할 수 있는 기준으로 사용할 것을 주장하기 위해.

제안 방법

• 다섯 개의 GPT-Neo 및 여덟 개의 OPT 변종에서 인간 독서 시간에 대한 놀라움 추정치의 예측 적합도와 언어 모델의 퍼플렉서티 간의 관계를 평가하기 위해 회귀 분 析를 수행하였다.
• 관찰된 경향의 탄탄함을 확보하기 위해 두 개의 독립적인 자연주의 독서 데이터셋을 사용하였다.
• 품사(예: 명사, 형용사, 모odal 어휘, 연결사 등)에 중점을 두어 놀라움 추정치의 체계적 이탈을 식별하기 위해 잔차 오차 분 析를 수행하였다.
• 더 큰 모델(GPT-Neo 2.7B 등)과 더 작은 모델(GPT-Neo 125M 등)의 놀라움 추정치를 비교하여 모델 크기의 영향을 예측 정확도에 고립적으로 분석하였다.
• 잔차 오차 내의 언어 패턴을 분석하여, 과소 예측이 개방계 어휘(예: 명사어)에 집중되어 있고, 과대 예측이 기능 어휘(예: 모달 어휘, 연결사)에 집중되어 있는지 확인하였다.
• Oh 등(2022)의 이전 결과를 통계적 엄밀성과 더 넓은 모델 커버리지(비-GPT-2 아키텍처 포함)로 복제 및 확장하였다.

실험 결과

연구 질문

• RQ1 언어 모델의 퍼플렉서티와 인간 독서 시간에 대한 적합도 사이에 양의 로그선형 관계가 여러 트랜스포머 기반 언어 모델 아키텍처에서 유지되는가?
• RQ2 더 큰 언어 모델이 낮은 퍼플렉서티를 가지지만 왜 인간 독서 시간을 예측하는 데 놀라움 추정치가 덜 예측 가능해지는가?
• RQ3 더 큰 모델과 더 작은 모델 간의 놀라움 추정치에서 가장 뚜렷한 이탈을 보이는 언어 범주는 무엇인가?
• RQ4 훈련 시퀀스의 모델 기억이 인간 처리 기대와 비교해 놀라움 추정치를 얼마나 왜곡하는가?
• RQ5 더 작은 모델을 사용함으로써 언어 모델의 놀라움 추정치의 인지적 타당성을 향상시킬 수 있는가?

주요 결과

• 두 데이터셋에서 다섯 개의 GPT-Neo 및 여덟 개의 OPT 변종에 대해 언어 모델의 퍼플렉서티와 인간 독서 시간에 대한 적합도 사이에 엄격하게 단조 증가하는 양의 로그선형 관계가 발견되었다.
• 더 큰 모델은 명사어 및 기타 개방계 어휘에 대해 체계적으로 독서 시간을 과소 예측하였으며, 모델 크가 증가할수록 과소 예측 정도가 커졌다.
• 모달 어휘 및 연결사와 같은 기능 어휘에 대해 보정적 과대 예측가 관찰되었으며, 이는 처리 부하 추정 방식의 변화를 시사한다.
• 개방계 어휘에서의 독서 시간 과소 예측는 더 큰 모델이 훈련 시퀀스를 광범위하게 기억함으로써 이들 항목에 대해 인위적으로 낮은 놀라움을 부여하기 때문임을 시사한다.
• 이 결과들은 더 큰 모델이 낮은 퍼플렉서티와 더 나은 언어 모델링 성능를 보이지만 인간 유사한 처리 곤란도 추정에서 벗어나다는 것을 시사한다.
• 이러한 발견은 더 큰 모델이 인지 모델링에 더 낫다는 가정을 도전하며, 더 작은 사전학습된 모델을 더 신뢰할 수 있는 기준으로 사용할 것을 주장한다.