[논문 리뷰] The case for 4-bit precision: k-bit Inference Scaling Laws

Tim Dettmers, Luke Zettlemoyer|arXiv (Cornell University)|2022. 12. 19.

Topic Modeling인용 수 22

한 줄 요약

논문은 여러 LLM 계열에 걸친 제로샷 양자화에 대한 비트 수준 추론 스케일링 법칙을 연구하고, 고정된 전체 모델 비트 수와 제로샷 정확도에서 4-비트 정밀도가 거의 보편적으로 최적임을 발견합니다.

ABSTRACT

Quantization methods reduce the number of bits required to represent each parameter in a model, trading accuracy for smaller memory footprints and inference latencies. However, the final model size depends on both the number of parameters of the original model and the rate of compression. For example, a 30B 8-bit model and a 60B 4-bit model have the same number of bits but may have very different zero-shot accuracies. In this work, we study this trade-off by developing inference scaling laws of zero-shot performance in Large Language Models (LLMs) to determine the bit-precision and model size that maximizes zero-shot performance. We run more than 35,000 experiments with 16-bit inputs and k-bit parameters to examine which zero-shot quantization methods improve scaling for 3 to 8-bit precision at scales of 19M to 176B parameters across the LLM families BLOOM, OPT, NeoX/Pythia, and GPT-2. We find that it is challenging to improve the bit-level scaling trade-off, with the only improvements being the use of a small block size -- splitting the parameters into small independently quantized blocks -- and the quantization data type being used (e.g., Int vs Float). Overall, our findings show that {4-bit} precision is almost universally optimal for total model bits and zero-shot accuracy.

연구 동기 및 목표

• 양자화된 LLM에서 모델 크기(비트)와 제로샷 정확도 간의 트레이드오프를 연구 동기로 삼는다.
• 여러 LLM 가족과 규모에 걸쳐 서로 다른 비트 정밀도 수준이 제로샷 성능에 어떠한 영향을 미치는지 체계적으로 평가한다.
• 고정된 전체 모델 크기 하에서 비트-수준 스케일링을 최적화하는 양자화 설정(데이터 유형, 블록 크기)을 식별한다.
• 4비트 양자화를 사용하기 위한 실용적 권고를 제공하고 한계점과 향후 방향을 논의한다.

제안 방법

• OPT, BLOOM, Pythia/NeoX, GPT-2, 및 BLOOMZ 모델에서 19M에서 176B 매개변수에 이르는 16비트 입력과 k-비트 매개변수(3 ≤ k ≤ 16)를 사용하여 35,000건이 넘는 실험을 수행했다.
• EleutherAI LM Eval Harness를 사용하여 LAMBADA, PiQA, Winogrande, HellaSwag에서 제로샷 성능을 평가했으며, 측정의 신뢰성을 위해 혼란도(perplexity)를 사용하되 명확성을 위해 제로샷 정확도를 보고한다.
• 블록화(블록 크기), 양자화 데이터 유형(Int, Float, quantile, dynamic exponent), 이상치 의존성 프록시 양자화가 비트-수준 스케일링에 미치는 영향을 조사한다.
• 6–8비트 방법을 비교했고 스케일링 개선이 없음을 확인했다; 4비트의 소형 블록 크기와 우호적인 데이터 유형에서의 개선에 초점을 맞췄다.
• 스케일링 곡선을 다변량 멱 법칙이 아니라 선형 보간에 맞추었고, 정밀도 간 거의 평행한 스케일링 추세를 관찰했다.

실험 결과

연구 질문

• RQ1 다양한 LLM 계열과 규모에 걸쳐 고정된 전체 모델 비트 수에서 제로샷 성능에 가장 적합한 비트 정밀도는 무엇인가?
• RQ2 정밀도를 3–8비트로 축소할 때 양자화 방법(데이터 유형, 블록 크기, 이상치 처리)이 비트-수준 스케일링에 어떤 영향을 미치는가?
• RQ3 4비트 모델이 모델 크기와 계열에 관계없이 제로샷 정확도와 효율성을 보편적으로 극대화하는가?
• RQ4 이상치 의존 프록시 양자화나 일회양자화(one-shot) 방식이 4비트 이하의 비트-수준 스케일링을 의미 있게 개선할 수 있는가?

주요 결과

• 거의 모든 모델과 규모에서 4비트 정밀도가 최적의 비트-수준 스케일링을 제공한다; 3비트는 연구에서 BLOOM-176B에서만 약간 더 낫다.
• 스케일링 곡선은 모델 크기에 대해 거의 평행하게 나타나 비트-수준 스케일링이 대체로 규모에 의존하지 않음을 시사한다.
• 3비트의 불안정성은 대형 모델의 OPT와 Pythia에서 나타나며, GPT-2와 BLOOM은 안정적이다.
• 작은 블록 크기(예: 64–128)와 특정 데이터 유형(분위수 양자화, 부동소수점)이 4비트 스케일링을 다른 조정보다 더 개선한다.
• 6–8비트 양자화 방법의 조합은 비트-수준 스케일링을 개선하지 못했고, 개선은 주로 4비트 상태에서 우호적인 블록 크기와 데이터 유형을 유지할 때 발생한다.
• 이상치 의존 프록시 양자화는 3비트 OPT/Pythia를 안정화시킬 수는 있지만 4비트 스케일링을 능가하지 못하며, 스케일링에 있어서는 여전히 4비트가 최적이다.