[논문 리뷰] A Neural Scaling Law from the Dimension of the Data Manifold

Utkarsh Sharma, Jared Kaplan|arXiv (Cornell University)|2020. 04. 22.

Neural Networks and Applications참고 문헌 24인용 수 19

한 줄 요약

이 논문은 모델 파라미터 수에 따라 손실이 거듭제곱 법칙으로 스케일링되는 관측된 신경망 스케일링 법칙에 대한 이론적 설명을 제안한다. 여기서 스케일링 지수 α는 데이터 다양체의 내재 차원 d와 관련된다. 이미지 및 언어 모델에서의 교사/학습자 프레임워크와 실증적 실험을 통해, α ≈ 4/d 임을 입증함으로써 데이터 다양체의 내재 차원이 다양한 모odal 간 일반화 스케일링을 결정짓는 데 핵심적임을 확인한다.

ABSTRACT

When data is plentiful, the loss achieved by well-trained neural networks scales as a power-law $L \propto N^{-α}$ in the number of network parameters $N$. This empirical scaling law holds for a wide variety of data modalities, and may persist over many orders of magnitude. The scaling law can be explained if neural models are effectively just performing regression on a data manifold of intrinsic dimension $d$. This simple theory predicts that the scaling exponents $α\approx 4/d$ for cross-entropy and mean-squared error losses. We confirm the theory by independently measuring the intrinsic dimension and the scaling exponents in a teacher/student framework, where we can study a variety of $d$ and $α$ by dialing the properties of random teacher networks. We also test the theory with CNN image classifiers on several datasets and with GPT-type language models.

연구 동기 및 목표

• 다양한 데이터 모odal 간 모델 크기가 증가함에 따라 신경망 손실이 거듭제곱 법칙으로 스케일링되는 이유를 설명한다.
• 모델 아키텍처의 차이에도 불구하고 스케일링 지수 α 가 대부분 아키텍처에 독립적인 이유를 설명한다.
• 데이터 다양체의 내재 차원 d 가 스케일링 지수 α 를 결정하는 데 미치는 역할을 조사한다.
• 신경망이 낮은 차원의 데이터 다양체에서 회귀를 수행하며, 스케일링이 부분 영역 크기 감소에 의해 결정됨을 가설화한다.
• 이론적 예측인 α ≈ 4/d 가 다양한 모델 유형과 데이터 분포에서 실증적으로 검증된다.

제안 방법

• 신경망이 내재 차원 d 를 가진 데이터 다양체를 더 작은 부분 영역으로 분할하며, 부분 영역 크기가 작아질수록 손실이 감소하는 가설 이론을 제안한다.
• 교차엔트로피 및 평균제곱오차 손실 모두에 대해 이론적 예측인 α ≈ 4/d 를 유도한다.
• 무작위 교사 네트워크를 사용한 교사/학습자 프레임워크를 구현하여 d 와 α 를 독립적으로 제어하고 이론의 체계적 검증을 가능하게 한다.
• 최종 레이어 활성화값에 대해 근접 이웃 거리 방법(MLE 및 TwoNN)을 사용해 내재 차원 d 를 측정한다.
• 실세계 환경에서 스케일링 법칙을 테스트하고 d 를 측정하기 위해 이미지 데이터셋(CIFAR10, MNIST 등)에 대해 단순한 CNN을 훈련시키고, GPT 유형 모델을 훈련시는 방법을 사용한다.
• 데이터 밀도, 이웃 수, 모델 초기화 방식의 변화에 대한 민감도를 평가하기 위해 통계적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 데이터 다양체의 내재 차원 d 는 신경망 손실 스케일링에서 스케일링 지수 α 를 예측할 수 있는가?
• RQ2 LSTM과 트랜스포머 같은 다양한 아키텍처 간에 스케일링 지수 α 가 왜 거의 아키텍처에 독립적인가?
• RQ3 왜 모델 크기의 수십 개의 온도 범위에 걸쳐 거듭제곱 법칙 스케일링 행동이 지속되는가?
• RQ4 내재 차원(ID) 추정 방법이 높은 d 에서 진정한 다양체 차원을 얼마나 정확하게 반영하는가?
• RQ5 이론적 예측인 α ≈ 4/d 는 이미지 및 언어 데이터를 포함한 다양한 데이터 모달에서 실증적으로 검증될 수 있는가?

주요 결과

• 논문은 다양한 데이터셋과 모델 유형(이미지 분류기 및 GPT 스타일 언어 모델 포함)에서 스케일링 지수 α 가 α ≈ 4/d 를 만족함을 확인한다.
• 교사/학습자 실험에서 측정된 α 값이 독립적으로 추정된 내재 차원 d 로부터 유도된 예측과 매우 밀접하게 일치함을 확인하여 이론 모델을 검증한다.
• 훈련된 CNN에 대한 ID 측정 결과, 모델 크기 N 과의 관계없이 변동이 최소한이므로 d 는 모델 용량의 함수가 아니라 데이터 다양체의 안정적 성질임을 시사한다.
• GPT 유형 모델의 경우, 최종 레이어 활성화의 내재 차원이 관측된 스케일링 지수와 상관관계가 있음을 확인하여 자동회귀 언어 모델링에서 이 те론이 지원됨을 보여준다.
• d ≤ 20 범위에서는 ID 추정 방법이 신뢰할 수 있으나, 높은 차원에서는 일반적으로 d 를 과소평가하는 경향이 있으나, 이 체계적 편향이 d–α 관계를 무효화하지는 않는다.
• 이 이론은 α 의 아키텍처 불변성을 설명한다: 스케일링이 오직 d 에 의존하므로, d 가 동일할 경우 다양한 아키텍처가 유사하게 스케일링된다.