[논문 리뷰] Scaling Laws for Neural Language Models

Jared Kaplan, Sam McCandlish외 8명|arXiv (Cornell University)|2020. 01. 23.

Topic Modeling참고 문헌 43인용 수 1,478

한 줄 요약

논문은 모델 크기, 데이터셋 크기, 그리고 계산량에 따른 언어 모델 교차 엔트로피 손실의 거듭제곱 법칙 스케일링을 실증적으로 확립하고, 아키텍처 의존성은 최소하며 일곱 차수의 범위에 걸친 강력하고 이전 가능한 스케일링 동향을 보인다.

ABSTRACT

We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other architectural details such as network width or depth have minimal effects within a wide range. Simple equations govern the dependence of overfitting on model/dataset size and the dependence of training speed on model size. These relationships allow us to determine the optimal allocation of a fixed compute budget. Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.

연구 동기 및 목표

• 언어 모델의 성능이 모델 크기, 데이터셋 크기, 그리고 계산량에 따라 어떻게 스케일링되는지 조사한다.
• Transformer 언어 모델에서 아키텍처와 스케일 간의 역할을 정량화한다.
• 실용적인 법칙을 도출하여 성능을 예측하고 계산 효율적인 학습을 안내한다.
• 규모 확장 하에서 과적합 행동과 무한 데이터 한계를 탐구한다.
• 고정된 계산 예산에서의 최적 학습 자원 배치를 제시한다.

제안 방법

• WebText2에서 ~1.5B 비임베딩 파라미터까지의 넓은 범위 크기에서 Transformer 및 LSTM 모델을 학습한다.
• 1024-토큰 컨텍스트에서 분포 내 및 전이 데이터셋에 대해 교차 엔트로피 손실을 측정한다.
• 관찰된 성능을 N(매개변수), D(데이터셋 크기), C(계산)에 대해 L ∝ X^−α인 거듭제곱 법칙으로 피팅한다.
• N과 D의 함수로 과적합을 설명하기 위해 결합된 스케일링 법칙 L(N,D) = [ (Nc/N)^{αN/αD} + Dc/D ]^{αD}를 제안한다.
• 고정된 계산 예산 하에서 최적의 계산 사용량과 학습 단계를 모델링하기 위해 Cmin과 Smin을 정의하고 활용한다.
• 손실과의 관계에서 최적의 배치 크기 Bcrit를 분석하여 학습 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 언어 모델의 교차 엔트로피 손실이 모델 크기, 데이터셋 크기, 그리고 계산에 따라 어떻게 스케일링되는가?
• RQ2 N(비임베딩 파라미터)가 고정될 때 아키텍처 형태(깊이, 폭, heads)의 영향은 얼마나 약한가?
• RQ3 고정된 계산 예산에서 성능 최대화를 위한 최적의 계산 배치를 예측할 수 있는가?
• RQ4 N–D 평면에서의 과적합은 무엇이 지배하며 L(N,D)가 D → ∞일 때 어떻게 동작하는가?
• RQ5 모델 크기가 커질수록 전이 성능은 분포 내 성능과 어떻게 상관되는가?

주요 결과

• 다른 요인에 의해 병목되지 않을 때 각 스케일 인자 N, D, C에 대해 성능이 거듭제곱 법칙을 따른다.
• 모델 성능은 스케일에 의해 크게 좌우되고 넓은 범위에서 아키텍처 형태(깊이, 폭, heads)에 미약하게 의존한다.
• N–D 평면에서의 과적합은 N^{αN/αD}/D의 비율에 의해 좌우되며 αN ≈ 0.076, αD ≈ 0.103일 때를 지칭하고, N이 커져도 과적합을 피하기 위한 데이터 요구가 부분 선형임을 시사한다.
• 학습 곡선은 모델 크기에 거의 의존하지 않는 예측 가능한 거듭제곱 법칙 동작을 보여주어 더 긴 학습 시간으로 외삽할 수 있다.
• 대형 모델은 샘플 효율이 더 높아 비슷한 성능에 도달하기 위해 필요한 최적화 스텝과 데이터가 적다; 고정 예산 하에서의 최적 계산 배치는 모델 크기를 증가시키는 쪽으로 선호된다.
• 학습의 최적 배치 크기는 Bcrit에 정렬되며, 이는 손실 L과 함께 Bcrit(L) ≈ B*/L^{1/αB}로 스케일링되고 B* ≈ 2e8, αB ≈ 0.21이다.