[논문 리뷰] A Solvable Model of Neural Scaling Laws

Alexander Maloney, Daniel A. Roberts외 1명|arXiv (Cornell University)|2022. 10. 30.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 대규모 언어 모델에서 신경 스케일링 법칙을 설명하기 위해 공동 생성 데이터 모델과 무작위 특징 맵을 조합한 해석 가능한 통계 모델을 제안한다. 대규모 데이터, 대규모 파라미터 근처에서 모델을 해석적으로 풀어내며, 자연 데이터의 힘법칙 통계와 비선형 특징 맵이 테스트 손실의 힘법칙을 유도하는 방식, 유한한 스펙트럼 지원으로 인한 성능 정체 현상의 원인을 설명하고, 등가 파라미터화 스케일링의 최적성을 규명한다.

ABSTRACT

Large language models with a huge number of parameters, when trained on near internet-sized number of tokens, have been empirically shown to obey neural scaling laws: specifically, their performance behaves predictably as a power law in either parameters or dataset size until bottlenecked by the other resource. To understand this better, we first identify the necessary properties allowing such scaling laws to arise and then propose a statistical model -- a joint generative data model and random feature model -- that captures this neural scaling phenomenology. By solving this model in the dual limit of large training set size and large number of parameters, we gain insight into (i) the statistical structure of datasets and tasks that lead to scaling laws, (ii) the way nonlinear feature maps, such as those provided by neural networks, enable scaling laws when trained on these datasets, (iii) the optimality of the equiparameterization scaling of training sets and parameters, and (iv) whether such scaling laws can break down and how they behave when they do. Key findings are the manner in which the power laws that occur in the statistics of natural datasets are extended by nonlinear random feature maps and then translated into power-law scalings of the test loss and how the finite extent of the data's spectral power law causes the model's performance to plateau.

연구 동기 및 목표

• 대규모 언어 모델에서 신경 스케일링 법칙이 나타나는 통계적 및 구조적 조건을 이해한다.
• 신경망과 같은 비선형 특징 맵이 모델 성능의 예측 가능한 힘법칙 스케일링을 가능하게 하는 역할를 규명한다.
• 모델 크기와 데이터 스케일을 균형 있게 조절하는 등가 파라미터화가 성능 스케일링에서 최적이 되는 이유를 조사한다.
• 스케일링 법칙이 붕괴되는 조건, 특히 유한한 데이터 스펙트럼 지원으로 인한 붕괴 조건을 규명한다.
• 테스트 손실이 모델 크기와 데이터셋 크기에 따라 힘법칙을 따른다는 경험적 관찰에 대한 이론적 기반을 제공한다.

제안 방법

• 모델 성능의 힘법칙 스케일링을 시뮬레이션하기 위해 힘법칙 분포를 가진 특징을 가진 공동 생성 데이터 모델과 무작위 특징 맵 모델을 제안한다.
• 랜덤 행렬 이론 기법을 사용하여 학습 데이터 수(T)와 파라미터 수(N)가 모두 큰 이중 극한에서 모델을 해석적으로 풀어낸다.
• 효율적 노이즈 및 레이블 항의 자기일관성 방정식을 유도하며, 특히 일반화 오차를 지배하는 리소버턴 추적 Δ에 중점을 둔다.
• 다양한 파arameter 영역(부족 파라미터화, 과도 파라미터화, 일치 영역)에서 Δ의 행동을 분석하여 스케일링 근처에서의 보편성을 보여준다.
• 유한한 데이터 스펙트럼 지원을 모델링하기 위해 스펙트럼 절단을 사용하여, 이로 인해 스케일링 법칙에서 성능 정체 현상이 발생함을 보여준다.
• 절단된 힘법칙 스펙트럼과 무작위 투영을 포함한 다양한 가정 하에 Δ₀ 및 Δ₋₁에 대한 명시적 해석적 표현을 유도한다.

실험 결과

연구 질문

• RQ1 신경 스케일링 법칙이 나타나기 위해 필요한 데이터셋 및 작업의 통계적 성질은 무엇인가?
• RQ2 신경망과 같은 비선형 특징 맵은 힘법칙 데이터 통계를 어떻게 테스트 손실의 힘법칙 스케일링으로 변환하는가?
• RQ3 왜 등가 파라미터화—모델 크기와 데이터 크기를 비례하게 스케일링하는 것—이 성능 스케일링에서 최적이 되는가?
• RQ4 신경 스케일링 법칙이 붕괴되는 조건는 무엇이며, 유한한 데이터 스펙트럼 지원은 이 붕괴에 어떻게 영향을 미치는가?
• RQ5 관측된 힘법칙 스케일링은 데이터와 특징 맵의 해석 가능한 통계 모델을 기반으로 제1원리에서 유도될 수 있는가?

주요 결과

• 자연 데이터셋의 힘법칙 통계는 비선형 무작위 특징 맵에 의해 연장되며, 이는 테스트 손실의 힘법칙 스케일링으로 이어진다.
• 데이터의 스펙트럼 힘법칙의 유한한 범위로 인해 모델의 성능이 정체되며, 이는 스케일링 법칙에서 관측된 포화 현상을 설명한다.
• 모델은 등가 파라미터화—모델 크기와 데이터 크기를 비례하게 스케일링하는 것—이 스케일링 영역에서 테스트 손실을 최소화하는 데 최적이 됨을 보여준다.
• 대규모 N과 대규모 T 근처에서, 효율적 노이즈 및 레이블 항은 특정 스펙트럼에 의존하지 않는 보편적 행동을 보이며, 극단적인 영역 이외에는 모두 동일하다.
• N > M일 경우, Δ₀(T,N)에 대한 해석적 해는 랜덤 투영 행렬 u에 영향을 받지 않으며, 오직 크기 N과 잠재 차원 M에만 의존한다.
• 수치적 검증을 통해 다양한 영역에서 Δ₀(T,N)의 해석적 해가 확인되었으며, 매우 작은 T 또는 높은 α 영역에서는 고차 스펙트럼 효과로 인해 약간의 편차가 존재한다.