[논문 리뷰] Transformer-Based Language Model Surprisal Predicts Human Reading Times Best with About Two Billion Training Tokens

Byung-Doh Oh, William Schuler|arXiv (Cornell University)|2023. 04. 22.

Topic Modeling인용 수 7

한 줄 요약

이 연구는 트랜스포머 기반 언어 모델에서 훈련 데이터 크기와 모델 용량이 인간 독서 시간을 예측하는 데 있어 놀라움(surprisal)의 능력에 미치는 영향을 조사한다. 연구 결과, 약 20억 토큰의 데이터로 훈련된 모델에서 놀라움 추정치가 인간 독서 데이터와 가장 잘 맞는 것으로 나타났으며, 이후 과적합으로 인해 성능이 떨어진다. 더 작은 모델에서는 '임계점(tipping point)'이 드러나며, 인간과 유사한 예측 행동을 포착하기 위해 충분한 용량이 필요하다는 점을 시사한다.

ABSTRACT

Recent psycholinguistic studies have drawn conflicting conclusions about the relationship between the quality of a language model and the ability of its surprisal estimates to predict human reading times, which has been speculated to be due to the large gap in both the amount of training data and model capacity across studies. The current work aims to consolidate these findings by evaluating surprisal estimates from Transformer-based language model variants that vary systematically in the amount of training data and model capacity on their ability to predict human reading times. The results show that surprisal estimates from most variants with contemporary model capacities provide the best fit after seeing about two billion training tokens, after which they begin to diverge from humanlike expectations. Additionally, newly-trained smaller model variants reveal a 'tipping point' at convergence, after which the decrease in language model perplexity begins to result in poorer fits to human reading times. These results suggest that the massive amount of training data is mainly responsible for the poorer fit achieved by surprisal from larger pre-trained language models, and that a certain degree of model capacity is necessary for Transformer-based language models to capture humanlike expectations.

연구 동기 및 목표

• 언어 모델의 품질과 인간 독서 시간에 대한 놀라움의 예측 능력 간 관계에 대한 모순된 결과를 해결하기 위해.
• 다양한 양의 훈련 데이터와 모델 용량이 인간 독서 시간에 대한 놀라움 추정치의 적합도에 미치는 영향을 조사하기 위해.
• 놀라움의 성능이 인간 처리 패턴에서 벗어나기 시작하는 데이터 또는 용량의 임계점이 존재하는지 규명하기 위해.
• 더 작은 모델에서 예측 정확도 향상에 따라 오히려 적합도가 악화되는 '임계점'이 존재하는지 검토하기 위해.

제안 방법

• 모델 용량과 훈련 데이터 크기를 체계적으로 변화시킨 여러 Pythia 기반 트랜스포머 기반 언어 모델 버전을 훈련시켰다.
• 자기회귀적 다음 단어 예측을 통해 각 모델 버전의 훈련 단계에서 놀라움 추정치를 계산했다.
• 자기주도 독서 시간(자연스러운 스토리 코퍼스)과 눈길을 넘어서는 시선 지속 시간(Dundee 코퍼스)이라는 두 가지 행동 데이터셋을 기반으로 놀라움 예측을 평가했다.
• 독서 시간 데이터를 로그 변환한 후 계층적 선형 회귀 모델을 사용하여 놀라움이 독서 시간의 분산을 얼마나 잘 설명하는지 평가했다.
• 훈련 진행 단계 동안 모델의 퍼플렉서티와 모델 적합도(ΔLL) 간의 관계를 추적하여 성능 전환점을 식별했다.
• 모델 크기와 훈련 단계 간 비교를 통해 데이터 양과 모델 용량의 영향을 고립시켰다.

Figure 1: Increase in regression model log-likelihood due to including each surprisal estimate from Pythia variants as a function of training steps (top) and perplexity (middle; the stars indicate the fully trained versions after 143,000 steps), as well as perplexity as a function of training steps

실험 결과

연구 질문

• RQ1 트랜스포머 기반 언어 모델의 놀라움이 인간 독서 시간을 가장 잘 예측하는 훈련 단계는 언제인가요?
• RQ2 모델 용량이 언어 모델의 퍼플렉서티와 독서 시간에 대한 예측 적합도 간 관계를 어떻게 조절합니까?
• RQ3 더 작은 모델에서 퍼플렉서티 감소가 독서 시간에 대한 적합도를 악화시키는 '임계점'이 존재합니까?
• RQ4 왜 대규모 사전 훈련된 모델은 퍼플렉서티와 예측 능력 간에 부정적 관계를 보이며, 더 작은 모델은 처음에는 양의 관계를 보이는가요?
• RQ5 훈련 데이터의 양이 모델의 놀라움과 인간 처리 곤란도 간의 괴리 현상에 얼마나 기여합니까?

주요 결과

• 현재 널리 사용되는 트랜스포머 기반 언어 모델의 대부분에서, 약 20억 토큰의 훈련 데이터로 훈련된 후 놀라움 추정치가 인간 독서 시간과 가장 잘 맞는다.
• 20억 토큰 이후의 추가 훈련은 예측 적합도가 떨어지며, 이는 과적합으로 인해 놀라움이 인간의 기대와 다소 벗어나기 때문임을 시사한다.
• 더 작은 모델 버전(예: 2-3-192)은 수렴 단계에서 '임계점'을 보이며, 퍼플렉서티가 계속 감소함에 따라 독서 시간에 대한 적합도가 악화된다.
• 2-3-192 모델 버전은 중요한 임계점이다: 이 용량 이하에서는 모델이 인간과 유사한 기대를 효과적으로 학습할 수 없으며, 이 이상에서는 통계적 규칙성에 과적합되기 시작한다.
• 대규모 모델에서는 괴로운 훈련 이후에만 퍼플렉서티와 모델 적합도 간에 엄격한 단조 감소 관계가 나타나며, 이는 이전 연구에서 확인된 반비례 상관관계를 확인한다.
• 모델 용량은 퍼플렉서티와 적합도 간 관계에 크게 영향을 주지 않으며, 모든 버전이 연속적인 곡선을 따르므로, 모델들이 인간 수준 이상의 예측을 배우는 방식에서 공통된 인덕티브 편향을 공유하고 있음을 시사한다.

Figure 2: Increase in regression model log-likelihood due to including each surprisal estimate from newly-trained LM variants as a function of training steps (top) and perplexity (middle; the stars indicate the fully trained versions after 10,000 steps), as well as perplexity as a function of traini