[논문 리뷰] A Dynamical Model of Neural Scaling Laws

Blake Bordelon, Alexander Atanasov외 1명|arXiv (Cornell University)|2024. 02. 02.

Neural dynamics and brain function인용 수 4

한 줄 요약

이 논문은 경사 하강법로 훈련되는 랜덤 특징 네트워크를 기반으로 한 해석 가능한 역학 모델을 제안하여 신경망 스케일링 법칙을 설명한다. 이 모델은 훈련 시간이 모델 크기보다 더 빠르게 증가하는 비대칭 컴퓨팅 최적 스케일링 규칙을 도출하며, 후기 시간대의 폭존 종속 손실 지수를 예측하고 데이터 재사용으로 인한 유한 폭 보정을 설명한다. 이는 딥 러닝에서의 주요 경험적 스케일링 현상에 대한 통합 이론을 제공한다.

ABSTRACT

On a variety of tasks, the performance of neural networks predictably improves with training time, dataset size and model size across many orders of magnitude. This phenomenon is known as a neural scaling law. Of fundamental importance is the compute-optimal scaling law, which reports the performance as a function of units of compute when choosing model sizes optimally. We analyze a random feature model trained with gradient descent as a solvable model of network training and generalization. This reproduces many observations about neural scaling laws. First, our model makes a prediction about why the scaling of performance with training time and with model size have different power law exponents. Consequently, the theory predicts an asymmetric compute-optimal scaling rule where the number of training steps are increased faster than model parameters, consistent with recent empirical observations. Second, it has been observed that early in training, networks converge to their infinite-width dynamics at a rate $1/ extit{width}$ but at late time exhibit a rate $ extit{width}^{-c}$, where $c$ depends on the structure of the architecture and task. We show that our model exhibits this behavior. Lastly, our theory shows how the gap between training and test loss can gradually build up over time due to repeated reuse of data.

연구 동기 및 목표

• 고정된 컴퓨팅 자원에서 모델 크기와 훈련 시간의 비대칭적 스케일링이 발생하는 원인을 이해하는 것.
• 훈련 시간과 모델 크기의 스케일링 지수가 다름으로써 비균일한 컴퓨팅 최적 전략이 도출되는 이유를 설명하는 것.
• 유한 폭 효과와 데이터 재사용이 시간에 따라 누적되는 방식을 모델링하여 훈련 손실과 테스트 손실 간의 성능 격차를 설명하는 것.
• 아키텍처와 작업에 따라 달라지는 후기 시간대 스케일링 지수를 도출하여 초기 시간대의 $1/\text{width}$ 행동과 대비하는 것.
• 무한 폭 근사에서 두 가지 방법이 동일하지 않음을 보여주며, 특히 유한 설정에서 엔셈블링과 폭 증가의 한계를 명확히 하는 것.

제안 방법

• 딥 네트워크 훈련의 해석 가능한 프록시로 경사 하강법으로 훈련된 랜덤 특징 모델을 분석한다.
• 무한 폭 근사에서 상관 및 반응 함수를 계산하기 위해 평균장 이론과 동적 메시지 전달(DMP)을 적용한다.
• 이산 시간에서 자기일관성 방정식을 사용해 손실, 상관 및 반응 함수의 순서 매개변수를 유도한다.
• 주요값 및 델타 함수 분해를 통해 모델/데이터 병목 상태($\alpha < 1$ 또는 $\nu < 1$)에서 발생하는 특이성을 다루기 위해 푸리에 변환 기법을 사용한다.
• 고정된 컴퓨팅 자원 $C = Nt$ 조건 하에 거듭 제곱 법칙의 합을 최소화하는 방식으로 컴퓨팅 최적 스케일링 문제를 해결한다.
• 테스트 손실과 스케일링 지수를 계산하기 위해 반응 및 상관 함수에 대한 자기일관성 방정식을 수치적으로 반복한다.

(a) One-Pass CIFAR-5M Test Dynamics

실험 결과

연구 질문

• RQ1 왜 훈련 시간과 모델 크기의 스케일링 지수가 다르며, 이는 비대칭 컴퓨팅 최적 스케일링을 어떻게 이끌어내는가?
• RQ2 유한 폭 보정은 시간이 지남에 따라 어떻게 변화하며, 왜 초기에는 $1/\text{width}$에서 후기에는 $\text{width}^{-c}$ 행동으로 전이되는가?
• RQ3 데이터 재사용으로 인해 일반화 격차가 점차 증가하는 원인은 무엇인가?
• RQ4 왜 더 넓은 모델이 항상 더 잘 일반화하지는 않는가, 특히 반복된 데이터로 후기 훈련 시에 그런가?
• RQ5 유한 폭 영역에서 엔셈블링과 폭 증가의 스케일링 행동은 어떻게 비교되는가?

주요 결과

• 모델은 $t \propto C^{c_2}$ 및 $N \propto C^{c_1}$ 형태의 비대칭 컴퓨팅 최적 스케일링을 예측하며, 이때 $c_2 > c_1$로, 대규모 언어 모델에서 관측된 경험적 결과와 일치한다.
• 이론은 초기 시간대의 $1/\text{width}$ 유한 폭 보정에서 후기 시간대의 $\text{width}^{-c}$ 스케일링으로의 전이를 재현하며, 이때 $c$는 아키텍처와 작업에 따라 달라진다.
• 명시적 과적합 없이도 반복된 데이터 재사용으로 인해 훈련 손실과 테스트 손실 간의 일반화 격차가 점차 증가한다.
• 모델은 엔셈블링이 유한 폭 영역에서 폭 증가의 이점을 재현하지 못함을 보여주며, 실질적으로 두 방법이 동일하지 않음을 도전한다.
• 컴퓨팅 최적 손실은 고정된 컴퓨팅 조건 하에서 거듭 제곱 법칙의 합을 최소화함으로써 $\mathcal{L}_\star(C) \propto C^{-\frac{r_t r_N}{r_t + r_N}}$ 형태로 유도된다.
• 모델은 데이터 반복 조건 하에서 폭에 따른 테스트 손실의 비단조화적 행동을 포착하여, 후기 훈련에서 '더 넓은 것이 더 좋다'는 경향이 뒤집히는 현상을 설명한다.

(c) Wikitext-100M Train and Test