[논문 리뷰] Explaining Neural Scaling Laws

Yasaman Bahri, Ethan Dyer외 3명|arXiv (Cornell University)|2021. 02. 12.

Neural Networks and Applications참고 문헌 79인용 수 31

한 줄 요약

논문은 데이터-맨ifold의 고유 차원과 커널 스펙트럼과의 연관성을 통해 지수들을 연결하고, 네 가지 신경망 스케일링 체계를 설명하는 이론을 제시하며, 무작위 특징(random-feature) 및 사전학습된(pretrained) 모델로 표준 데이터셋에서 실증적 검증을 수행한다.

ABSTRACT

The population loss of trained deep neural networks often follows precise power-law scaling relations with either the size of the training dataset or the number of parameters in the network. We propose a theory that explains the origins of and connects these scaling laws. We identify variance-limited and resolution-limited scaling behavior for both dataset and model size, for a total of four scaling regimes. The variance-limited scaling follows simply from the existence of a well-behaved infinite data or infinite width limit, while the resolution-limited regime can be explained by positing that models are effectively resolving a smooth data manifold. In the large width limit, this can be equivalently obtained from the spectrum of certain kernels, and we present evidence that large width and large dataset resolution-limited scaling exponents are related by a duality. We exhibit all four scaling regimes in the controlled setting of large random feature and pretrained models and test the predictions empirically on a range of standard architectures and datasets. We also observe several empirical relationships between datasets and scaling exponents under modifications of task and architecture aspect ratio. Our work provides a taxonomy for classifying different scaling regimes, underscores that there can be different mechanisms driving improvements in loss, and lends insight into the microscopic origins of and relationships between scaling exponents.

연구 동기 및 목표

• 신경망이 데이터셋 크기와 매개변수 수에 대해 왜 거듭제곱 법칙으로 스케일링하는지 설명한다.
• 스케일링 지수를 데이터 분포, 고유 데이터-맨ifold 차원, 커널 스펙트럼과 연결한다.
• D와 P 모두에 대해 분산-제한 및 해상도-제한 체계를 포함하는 통일된 프레임워크를 제공한다.
• 풀 수 있는 선형/랜덤-피처 모델과 표준 아키텍처/데이터셋에서의 실증 실험으로 이 이론을 입증한다.

제안 방법

• 네 가지 스케일링 체계 정의: 데이터셋 크기 D와 매개변수 수 P(또는 너비 w)에 대한 분산-제한 및 해상도-제한을 구분한다.
• 이론적 주장을 개발: 무한 데이터 또는 무한 폭 한계에서의 평활성으로 인해 분산-제한 지수가 형성되고, 모델이 데이터 망을 분할하고 커널 스펙트럼이 형성되는 경우에 해상도-제한 지수가 생긴다고 보인다.
• 네 가지 체계를 구현하고 L(P) 및 L(D)와 같은 손실 공식도 도출하는 풀이 가능한 선형/랜덤-피처 티쳐-스튜던트 모델을 제시한다.
• 해상도-제한 지수를 데이터 망의 고유 차원 d와 커널 스펙트럼 감소(lambda_i ~ i^-(1+alpha_K))와 연결한다.
• 미세 파라미터화된/과도 파라미터화된 체계 간의 이중성 및 커널 스펙트럼을 통한 지수 간의 연계를 보인다.
• 무작위 특징과 사전학습 모델에 대한 실험으로 표준 데이터셋과 아키텍처 전반에서 이론을 검증한다.

실험 결과

연구 질문

• RQ1 신경망의 데이터셋 크기 D와 매개변수 수 P에 대한 스케일링 체계는 무엇인가?
• RQ2 스케일링 지수는 데이터 분포, 고유 데이터-맨ifold 차원 d, 그리고 커널 스펙트럼에 어떻게 의존하는가?
• RQ3 다른 모델 체계에서 분산-제한과 해상도-제한 스케일링을 모두 설명하는 통합 이론이 있을 수 있는가?
• RQ4 노이즈나 데이터 전처리(노이즈, 상위 클래스화)가 스케일링 지수에 어떤 영향을 주는가?
• RQ5 간단한 풀이 가능한 모델(선형/랜덤-피처)이 실제 네트워크에서 관찰되는 네 가지 스케일링을 재현하는가?

주요 결과

• 네 가지 스케일링 체계가 확인되고 실증적으로 뒷받침된다: 분산-제한은 보편적인 지수를 가지며, 데이터 분포에 의존하는 지수를 갖는 해상도-제한 체계가 데이터 분포에 따라 나타난다. D와 P 양쪽에 대해 해당된다.
• 분산-제한 체계에서 지수는 보편적(alpha_D = alpha_W = 1)이며, 적합한 조건에서 성립한다.
• 해상도-제한 체계에서는 지수가 데이터 분포에 의존하며 데이터 망의 고유 차원 d 및 커널 스펙트럼 감소와 관련이 있다(lambda_i ~ i^-(1+alpha_K)).
• 저-파라미터화/고-파라미터화 체계 간의 이중성은 커널 스펙트럼과 데이터 포인트의 투영을 통해 연결된다.
• 무작위 특징 및 사전학습 모델 실험이 네 가지 체계를 재현하고, 지수는 데이터셋, 아키텍처, 입력 분포에 의해 좌우된다.
• 노이즈나 데이터셋을 통해 입력 분포를 바꾸면 지수에 큰 변화가 나타날 수 있으며, 상위 클래스화(superclassing) 대상은 영향이 제한적이다.