[논문 리뷰] Large GPT-like Models are Bad Babies: A Closer Look at the Relationship between Linguistic Competence and Psycholinguistic Measures

Julius Steuer, Marius Mosbach외 1명|arXiv (Cornell University)|2023. 11. 08.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 발달적으로 타당한 코퍼스인 BabyLM를 기반으로 GPT 유사 언어 모델을 훈련시켜 언어적 숙련도와 심리언어학적 타당성 사이의 상충 관계를 조사한다. 큰 모델일수록 형식적 및 기능적 언어 과제(BlIMP, GLUE, MSGS)에서 성능 향상을 보이지만, 자가 주도 독서 시간 예측에서는 오히려 성능이 떨어지며, 가장 작은 모델이 심리언어학적 데이터와 가장 잘 맞는 것으로 나타났다. 이는 언어 모델의 규모를 늘리는 것과 발달적으로 타당한 방식으로 처리 노력 모델링을 동시에 달성하는 데 근본적인 불일치가 있음을 시사한다.

ABSTRACT

Research on the cognitive plausibility of language models (LMs) has so far mostly concentrated on modelling psycholinguistic response variables such as reading times, gaze durations and N400/P600 EEG signals, while mostly leaving out the dimension of what Mahowald et al. (2023) described as formal and functional linguistic competence, and developmental plausibility. We address this gap by training a series of GPT-like language models of different sizes on the strict version of the BabyLM pretraining corpus, evaluating on the challenge tasks (BLiMP, GLUE, MSGS) and an additional reading time prediction task. We find a positive correlation between LM size and performance on all three challenge tasks, with different preferences for model width and depth in each of the tasks. In contrast, a negative correlation was found between LM size and reading time fit of linear mixed-effects models using LM surprisal as a predictor, with the second-smallest LM achieving the largest log-likelihood reduction over a baseline model without surprisal. This suggests that modelling processing effort and linguistic competence may require an approach different from training GPT-like LMs on a developmentally plausible corpus.

연구 동기 및 목표

• 발달적으로 타당한 코퍼스에서 훈련된 대규모 GPT 유사 언어 모델이 동시에 높은 언어적 숙련도와 인지적 타당성을 달성할 수 있는지 조사하기 위해.
• 모델 크기와 형식적 언어 숙련도 과제(BLiMP, GLUE, MSGS) 성능 및 심리언어학적 측정치(독서 시간 예측) 성능 간의 관계를 평가하기 위해.
• 언어 모델의 놀라움 값이 실제 인간의 독서 시간과 상관관계가 있는지, 특히 다양한 모델 크기에서 어떻게 변화하는지 평가하기 위해.
• 관찰된 언어적 숙련도와 처리 노력 모델링 간의 괴리 현상이 향후 인지적으로 타당한 언어 모델 설계에 미치는 영향을 탐색하기 위해.
• 도메인 특화의 어린이 중심 코퍼스에서의 훈련이 더 큰 일반 도메인 데이터셋보다 인간의 처리 메커니즘과 더 잘 일치하는 데 기여하는지 여부를 확인하기 위해.

제안 방법

• 발달적으로 타당한 코퍼스인 BabyLM의 엄격한 버전을 기반으로, <5M에서 약 100M 파라미터까지 다양한 크기의 디코더 전용 트랜스포머 언어 모델을 훈련시켰다.
• 세 가지 벤치마크 과제에서 모델 성능을 평가: BLiMP(형식적 언어 숙련도), GLUE(기능적 언어 숙련도), MSGS(구문 일반화).
• 표준 NLP 메트릭(예: 정확도, F1)과 BabyLM 개발 세트에서의 퍼플렉서티를 사용해 모델 성능을 측정했다.
• 심리언어학적 타당성을 평가하기 위해, 언어 모델의 놀라움 값을 예측 변수로 사용하여 Natural Stories 코퍼스의 자가 주도 독서 시간에 대해 선형 혼합 효과 모델을 피팅했다.
• 예측 성능을 측정하기 위해, 놀라움이 없는 기준 모델과 놀라움이 포함된 모델 간의 로그우도 차이(Δlog-likelihood)를 사용했으며, 높은 Δlog-likelihood는 더 나은 예측을 의미한다.
• 스피어의 순위 상관관계를 사용해 모델 크기, 퍼플렉서티, 언어 과제 및 심리언어학 과제 성능 간의 상관관계를 분석했다.

실험 결과

연구 질문

• RQ1 발달적으로 타당한 코퍼스에서 훈련된 모델의 크기를 증가시킬수록 형식적 및 기능적 언어 숙련도 벤치마크(BLiMP, GLUE, MSGS) 성능이 향상되는가?
• RQ2 언어 모델 크기와 언어 모델의 놀라움 값이 인간의 자가 주도 독서 시간을 예측하는 데의 능력 간에 상관관계가 있는가?
• RQ3 어린이 중심 코퍼스에서 훈련된 대규모 GPT 유사 모델이 동시에 높은 언어적 숙련도와 강한 심리언어학적 타당성을 달성할 수 있는가?
• RQ4 언어 모델의 크기가 놀라움 값이 실제 독서 시간 데이터에 얼마나 잘 맞는지에 영향을 미치며, 만약 그렇다면 그 방식은 무엇인가?
• RQ5 훈련 코퍼스(예: BabyLM 대비 Wikitext-103)가 언어 모델의 놀라움과 독서 시간 간의 상관관계를 촉진하거나 저해하는 데 어떤 역할을 하는가?

주요 결과

• 더 큰 GPT 유사 모델일수록 BLiMP, GLUE, MSGS에서 성능 향상과 정확한 상관관계를 보이며, 모델 크기가 커질수록 성능이 단조롭게 증가했다.
• 500만 파라미터 이하의 작은 모델이 자가 주도 독서 시간 데이터에 가장 잘 맞았으며, 기준 모델 대비 로그우도를 가장 크게 감소시켰다.
• 모델 크기와 독서 시간 예측 성능 간에 음의 상관관계가 발견되었으며, 두 번째로 작은 모델이 Δlog-likelihood 향상 폭이 가장 컸다.
• 언어 모델의 퍼플렉서티와 독서 시간 예측 성능 간의 스피어만 순위 상관관계는 음수였으며(ρ = -0.4784, p < 0.05), 이는 낮은 퍼플렉서티일수록 인간 독서 시간 예측 성능이 떨어짐을 의미한다.
• Wikitext-103보다 작지만, BabyLM 코퍼스가 Wikitext-103보다 놀라움과 독서 시간 간의 상관관계를 더 잘 유지시켰다. 이는 코퍼스 특성 자체가 이러한 학습을 촉진할 수 있음을 시사한다.
• 결과는 놀라움을 통한 처리 노력 모델링과 언어적 숙련도 달성 간에 표준 GPT 스타일의 사전 훈련 방식과는 근본적으로 다른 훈련 제도나 아키텍처 선택이 필요할 수 있음을 시사한다.