[논문 리뷰] Frequency Explains the Inverse Correlation of Large Language Models' Size, Training Data Amount, and Surprisal's Fit to Reading Times

Byung-Doh Oh, Shisen Yue외 1명|arXiv (Cornell University)|2024. 02. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 더 큰 언어 모델(LMs)과 더 많은 데이터로 훈련된 모델이 인간의 독서 시간과의 맞춤도가 떨어지는 이유를 설명하기 위해 어휘 빈도가 핵심 요인임을 규명한다. 네 종류의 모델 가족과 코퍼스를 대상으로 한 분석을 통해, 더 큰 모델이 드물게 나타나는 단어에 대해 초인적 수준의 복잡한 연관성을 학습함으로써 희귀어에 과적합되며, 이로 인해 특히 희귀어에 대해 인간의 독서 행동 예측 능력이 악화됨을 보여준다.

ABSTRACT

Recent studies have shown that as Transformer-based language models become larger and are trained on very large amounts of data, the fit of their surprisal estimates to naturalistic human reading times degrades. The current work presents a series of analyses showing that word frequency is a key explanatory factor underlying these two trends. First, residual errors from four language model families on four corpora show that the inverse correlation between model size and fit to reading times is the strongest on the subset of least frequent words, which is driven by excessively accurate predictions of larger model variants. Additionally, training dynamics reveal that during later training steps, all model variants learn to predict rare words and that larger model variants do so more accurately, which explains the detrimental effect of both training data amount and model size on fit to reading times. Finally, a feature attribution analysis demonstrates that larger model variants are able to accurately predict rare words based on both an effectively longer context window size as well as stronger local associations compared to smaller model variants. Taken together, these results indicate that Transformer-based language models' surprisal estimates diverge from human-like expectations due to the superhumanly complex associations they learn for predicting rare words.

연구 동기 및 목표

• 더 큰 언어 모델과 더 많은 데이터로 훈련된 모델이 자신의 놀라움 추정치와 인간의 독서 시간 간의 맞춤도가 감소하는 이유를 조사하는 것.
• 어휘 빈도가 모델 크기/훈련 데이터와 놀라움의 예측 능력 간의 반비례 관계를 조절하는지 여부를 규명하는 것.
• 훈련 동역학과 모델 아키텍처가 희귀어와 빈도가 높은 어휘의 예측에 어떻게 영향을 미치는지 검토하는 것.
• 큰 모델에서 희귀어에 대해 과도하게 정확한 예측을 하는 것이 인간의 처리 곤란도 모델링 능력을 떨어뜨리는지 평가하는 것.
• 자연어 독해에서 어휘 빈도 효과와 예측 가능성 효과가 분리 가능한지 탐색하는 것.

제안 방법

• 네 종류의 트랜스포저 기반 언어 모델 가족(GPT, BERT 변종 등)의 놀라움 추정치를 네 가지 자연주의 독서 시간 코퍼스(Natural Stories, Dundee, GECO, Provo)에서 평가.
• 모델이 예측한 놀라움과 관찰된 독서 시간 간 잔차 오차를 어휘 빈도 테일러트(quantiles)로 분류하여 계산.
• 훈련 토큰 수 증가에 따라 희귀어 예측 학습 과정을 분석하기 위해 모델 변종의 훈련 동역학을 추적.
• 맥락 창 크기와 국소적 어텐션 강도 기여도를 분리하기 위해 특징 기여도 기법(예: 기울기 기반 또는 어텐션 제거)을 적용.
• 빈도 기반 분류 여부에 따라 놀라움 추정치가 독서 시간에 얼마나 잘 맞는지 평가하기 위해 회귀 모델을 사용.
• 모델 크기(Small, Medium, Large)와 훈련 데이터 양(최대 2B 토큰)을 변화시켜 크기와 데이터 효과를 분리하는 데 목적이 있는 모델 변종을 비교.

Figure 1: Corpus-level perplexity measures from each GPT-2, GPT-Neo, OPT, and Pythia model variant, and mean squared errors of regression models that include each surprisal predictor on the four corpora of reading times. The ordered labels represent variants of different sizes, where ‘1’ represents

실험 결과

연구 질문

• RQ1 모델 크기와 놀라움의 독서 시간에 대한 맞춤도 간의 반비례 관계가 어휘 빈도에 따라 달라지는가?
• RQ2 훈련 동역학이 다양한 크기의 모델 변종에서 희귀어 예측 학습에 어떻게 영향을 미치는가?
• RQ3 더 큰 모델이 더 작은 모델보다 희귀어에 대해 더 정확한 표현을 얼마나 잘 학습하는가?
• RQ4 맥락 창 크기, 어텐션 강도 등 어떤 메커니즘이 큰 모델에서 희귀어 예측 능력을 향상시키는가?
• RQ5 언어 모델의 놀라움과 인간의 독서 시간 간 괴리가 희귀어의 빈도 무관 복잡한 연관성에 대한 과적합 때문인가?

주요 결과

• 모델 크기와 독서 시간에 대한 맞춤도 간의 반비례 관계는 가장 희귀한 어휘에서 가장 뚜렷하며, 이 경우 더 큰 모델이 놀라움 추정치를 더 정확하게 산출한다.
• 더 큰 모델 변종은 더 작은 모델보다 희귀어 예측을 더 정확하게 학습하며, 특히 후기 훈련 단계에서 이러한 경향이 두드러진다. 이는 인간의 독서 시간에 대한 맞춤도 저하를 유도한다.
• 훈련 동역학 분석 결과, 모든 모델 변종이 상당한 노출(예: 2B 토큰 이상) 이후에야 희귀어 예측을 학습하기 시작하며, 더 큰 모델은 더 빠르게 높은 정확도를 달성한다.
• 특징 기여도 분석 결과, 더 큰 모델이 희귀어를 더 정확하게 예측하는 데에는 효과적으로 더 긴 맥락 창 크기와 더 강한 국소적 어텐션 연관성이 기여한다.
• 초인적 수준의 복잡한 연관성에 기인한 희귀어에 대한 과도한 정확도가 큰 모델의 놀라움이 인간 중심 처리 기대와 다를 수밖에 없는 이유를 설명한다.
• 맥락 창 크기를 제한하거나 국소적 연관성을 약화시키면 놀라움 추정치가 독서 시간에 더 잘 맞는다. 이는 희귀어 패턴에 대한 과적합이 인간 처리 예측 능력을 해친다는 것을 확인한다.

Figure 2: Corpus-level perplexity measures from each GPT-2, GPT-Neo, OPT, and Pythia model variant, and mean squared errors of regression models that include each surprisal predictor on the four corpora of reading times. The columns of subplots represent the five quintiles defined by unigram log-pro