[논문 리뷰] The Quantization Model of Neural Scaling

Eric J. Michaud, Ziming Liu외 2명|arXiv (Cornell University)|2023. 03. 23.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 신경 스케일링에 대한 Quantization Model을 제안하고, 모델의 지식이 이산적 quanta로 학습되며 사용 빈도가 Zipf 분포를 따른다고 가정해 거듭나며 손실의 멱 함수(파워-법칙) 스케일링을 생성한다고 주장한다; toy 데이터에서 아이디어를 검증하고, quanta로 행동을 분해하여 LLM 스케일링을 분석하며, 그라디언트로부터 이러한 quanta를 자동으로 발견하는 방법을 제시한다.

ABSTRACT

We propose the Quantization Model of neural scaling laws, explaining both the observed power law dropoff of loss with model and data size, and also the sudden emergence of new capabilities with scale. We derive this model from what we call the Quantization Hypothesis, where network knowledge and skills are "quantized" into discrete chunks ($ extbf{quanta}$). We show that when quanta are learned in order of decreasing use frequency, then a power law in use frequencies explains observed power law scaling of loss. We validate this prediction on toy datasets, then study how scaling curves decompose for large language models. Using language model gradients, we automatically decompose model behavior into a diverse set of skills (quanta). We tentatively find that the frequency at which these quanta are used in the training distribution roughly follows a power law corresponding with the empirical scaling exponent for language models, a prediction of our theory.

연구 동기 및 목표

• 신경 스케일링에 대한 Quantization Hypothesis를 동기 부여하고 형식화한다.
• 이산적 quanta 학습이 어떻게 멱 함수적 손실 스케일링으로 이어지는지 이론적 함의를 도출한다.
• 구조화된 하위 작업 분포에서 스케일링이 나타난다는 것을 toy 데이터 세트로 시연한다.
• 대형 언어 모델 스케일링을 분해하여 quanta와 그 사용 패턴을 정량화한다.
• 언어 모델에서 quanta를 자동으로 식별하기 위한 QDG (Quanta Discovery from Gradients)를 제안한다.

제안 방법

• quanta를 모델이 학습한 이산적 지식/기술 모듈로 정의한다.
• 퀀타를 over quanta의 Zipf 분포를 사용하여 학습된 quanta n의 함수로 손실 L_n을 도출한다.
• Ln이 거듭제곱 법칙으로 수렴하여 L∞에 수렴함을 보인다: Ln ≈ a + (b−a) n^(-α).
• 스케일링을 유도하기 위해 하위 작업에 Zipfian 분포를 갖는 다중 작업 희소 패리티 toy 데이터 세트를 구성한다.
• per-token 손실과 gradient 기반 quanta 클러스터링을 측정하여 Pythia 모델의 스케일링을 분석한다.
• 정규화된 그라디언트에 대한 스펙트럴 클러스터링을 사용하여 일관된 기술 클러스터를 찾는 Quanta Discovery from Gradients (QDG)를 개발한다.

실험 결과

연구 질문

• RQ1 신경망은 성능을 좌우하는 이산적 quanta 집합을 학습하는가?
• RQ2 quanta 사용 빈도가 멱 함수 법칙을 따라 관측된 스케일링 지수를 만드는가?
• RQ3 매개변수/데이터 스케일링 지수를 Quantization Model을 통해 관련지을 수 있는가?
• RQ4 그라디언트 정보를 사용하여 언어 모델에서 quanta를 자동으로 발견하고 검증할 수 있는가?
• RQ5 대형 언어 모델에서 스케일링이 하위 작업 또는 토큰 간에 어떻게 분해되는가?

주요 결과

• 더 많은 quanta가 학습될수록 손실이 멱 법칙적으로 감소하며, Ln − L∞ ∝ n^(−α).
• toy 다중 작업 희소 패리티 실험은 매개변수, 데이터, 단계에 따른 스케일링이 Quantization Model과 일치함을 보여준다.
• Pythia 언어 모델에서 평균 교차 엔트로피 손실은 모델 크기에 따라 스케일링되며 지수 αN ≈ 0.083(최대 모델 제외)로 나타난다.
• 고정된 스케일의 손실 분포는 0에 더 집중되지만 0-손실 토큰은 평균 손실 질량에 거의 기여하지 않는다.
• 토큰은 일반적으로 단일 quanta가 아닌 다형적 개선(polygenic)을 보이며, 일부 토큰은 단일 유전(monogenic) 같은 급격한 전환을 보이기도 한다.
• 그라디언트 기반 클러스터링은 숫자 증가 시퀀스와 같은 해석 가능한 모델 기술에 해당하는 일관된 클러스터(퀀타)를 발견한다.
• 발견된 quanta의 순위-빈도 분석은 기울기가 약 −1.24인 멱 함수를 보이며 이론의 예측과 대체로 일치한다.