[논문 리뷰] Intriguing Properties of Quantization at Scale

Arash Ahmadian, Saurabh Dash외 6명|arXiv (Cornell University)|2023. 05. 30.

Ferroelectric and Negative Capacitance Devices인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델에서 양자화로 인한 성능 저하가 스케일의 본질적 특성으로서 필수적으로 발생하는 것은 아니며, 오히려 사전 훈련 중 특정 최적화 선택의 결과임을 입증한다. 저자들은 가중치 감쇠, 기울기 클리핑, 정밀도 등의 하이퍼파라미터를 철저히 조정하여 410M에서 52B 파라미터에 이르는 모델을 훈련시켰으며, 간단한 INT8 사후 양자화에서 평균 0.26% 이하의 성능 저하를 달성함으로써, 최적화를 통해 양자화 友화 모델을 체계적으로 설계할 수 있음을 입증한다.

ABSTRACT

Emergent properties have been widely adopted as a term to describe behavior not present in smaller models but observed in larger models. Recent work suggests that the trade-off incurred by quantization is also an emergent property, with sharp drops in performance in models over 6B parameters. In this work, we ask "are quantization cliffs in performance solely a factor of scale?" Against a backdrop of increased research focus on why certain emergent properties surface at scale, this work provides a useful counter-example. We posit that it is possible to optimize for a quantization friendly training recipe that suppresses large activation magnitude outliers. Here, we find that outlier dimensions are not an inherent product of scale, but rather sensitive to the optimization conditions present during pre-training. This both opens up directions for more efficient quantization, and poses the question of whether other emergent properties are inherent or can be altered and conditioned by optimization and architecture design choices. We successfully quantize models ranging in size from 410M to 52B with minimal degradation in performance.

연구 동기 및 목표

• 대규모 언어 모델에서의 양자화 성능 급락 현상이 모델 스케일의 본질적 특성인지, 또는 최적화 선택에 의해 영향을 받는지 조사하기.
• 대규모 모델이 혼합 정밀도나 피지컬 튜닝 없이도 단순한 사후 양자화(PTQ)에 더 잘 적응하도록 훈련시킬 수 있는지 확인하기.
• 활성화 외곽치를 억제하고 양자화 내성 향상에 기여하는 특정 사전 훈련 하이퍼파라미터를 규명하기.
• 랜덤 초기화에서부터 다양한 모델 크기(410M에서 52B 파라미터까지)에 걸쳐 양자화 친화적인 모델을 체계적으로 훈련시킬 수 있음을 입증하기.

제안 방법

• 동일한 아키텍처를 사용하여 가중치 감쇠, 기울기 클리핑, 드롭아웃, 혼합 정밀도 훈련 등의 최적화 하이퍼파라미터를 다양하게 조정한 제어된 대규모 연구를 수행하였다.
• 저자들은 아키텍처와 데이터를 동일하게 유지하면서, 가중치 감쇠, 기울기 클리핑, 정밀도 등의 핵심 훈련 하이퍼파라미터를 체계적으로 변화시켰다. 이는 410M에서 52B 파라미터에 이르는 모든 모델에 적용되었다.
• 사후 양자화(PTQ)는 표준 INT8 양자화를 사용하여 가중치와 활성화 모두에 적용되었으며, 최종 데이터나 校정 없이 단순한 사후 처리 방식을 취했다.
• 저자들은 활성화 및 가중치 분포를 분석하여 외곽치가 발생하는 차원을 규명하고, 이를 최적화 선택과 연관지웠다.
• 양자화 영향을 측정하기 위해 8개의 제로샷 NLP 벤치마크(HellaSwag, PIQA, LAMBADA, WinoGrad 등)에서 성능을 평가하였다.
• 활성화 크기와 가중치 분포의 세밀한 분석을 통해 최적화 선택과 양자화 내성 간의 연관성을 규명하였다.

Figure 1 : Mean zero-shot accuracy on HellaSwag, PIQA, LAMBADA, and WinoGrad. In contrast to the OPT family, our models show minimal degradation after simple vectorwise quantization. Data points for OPT models are from (Dettmers & Zettlemoyer, 2022 ) .

실험 결과

연구 질문

• RQ1 양자화 하에서 대규모 모델에서 관찰되는 성능 저하 현상은 스케일의 유생적 특성인가, 아니면 사전 훈련 중 최적화 선택에 의해 완화될 수 있는가?
• RQ2 가중치 감쇠, 기울기 클리핑, 정밀도와 같은 특정 훈련 하이퍼파라미터 중에서 활성화 외곽치의 존재에 가장 크게 영향을 주는 것은 무엇인가?
• RQ3 52B 파라미터의 모델도 혼합 정밀도 분해 없이 표준 사후 양자화(PTQ)만으로도 최소한의 성능 손실로 양자화할 수 있는가?
• RQ4 사전 훈련 과정에서 활성화 및 가중치 분포를 얼마나 잘 조정하여 저정밀도 추론과의 호환성을 높일 수 있는가?
• RQ5 OPT와 BLOOM 같은 모델 간의 양자화 민감도 차이가 아키텍처적 차이 때문인지, 아니면 최적화 전략 때문인가?

주요 결과

• 저자들은 410M에서 52B 파라미터에 이르는 모델을 단순한 표준 INT8 사후 양자화(PTQ)만으로 성공적으로 양자화하였으며, 8개의 제로샷 작업에서 평균 0.26% 이하의 성능 저하를 기록하였다.
• 52B 파라미터 모델은 단순한 INT8 PTQ에서도 근본적인 성능 저하 없이 0.26% 평균 감소를 보였으며, 이는 대규모 모델이 복잡한 혼합 정밀도 기법 없이도 양자화될 수 있음을 시사한다.
• 이전에는 스케일의 유생적 특성로 여겨졌던 활성화 외곽치는 실제로 가중치 감쇠와 기울기 클리핑과 같은 최적화 하이퍼파라미터에 민감함이 밝혀졌다.
• 더 높은 가중치 감쇠와 더 낮은 기울기 클리핑을 적용한 모델은 활성화 외곽치의 크기가 현저히 감소하여 더 나은 양자화 내성 향상을 보였다.
• 이 연구는 OPT와 BLOOM 모델 간의 양자화 민감도 차이가 아키텍처나 스케일 자체 때문이 아니라, 사전 훈련 최적화 전략의 차이 때문임을 발견하였다.
• 제어된 아블레이션 연구를 통해 특정 하이퍼파라미터 조합이 외곽치 차원을 억제함으로써 전용 양자화 방법 없이도 효과적인 양자화를 가능하게 함을 확인하였다.

(a)