[논문 리뷰] FPTQ: Fine-grained Post-Training Quantization for Large Language Models

Qingyuan Li, Yifan Zhang외 7명|arXiv (Cornell University)|2023. 08. 30.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델을 위한 새로운 세분화된 후학습 양자화 방법인 FPTQ를 제안한다. 이 방법은 피팅 튜닝 없이도 최신 기술 수준의 W4A8(4비트 가중치, 8비트 활성화) 성능을 달성한다. 계층별 활성화 양자화와 어려운 계층에 대한 새로운 로그 등가 기법, 세분화된 가중치 양자화를 조합함으로써 FPTQ는 INT8 추론을 효율적으로 가능하게 하며, INT4 가중치 저장을 통해 메모리 및 계산 효율성을 크게 향상시키면서도 BLOOM, LLaMA, LLaMA-2 벤치마크에서 모델 정확도를 유지한다.

ABSTRACT

In the era of large-scale language models, the substantial parameter size poses significant challenges for deployment. Being a prevalent compression technique, quantization has emerged as the mainstream practice to tackle this issue, which is mainly centered on two recipes W8A8 and W4A16 (i.e. weights and activations in such bit widths). In this study, we propose a novel W4A8 post-training quantization method for the available open-sourced LLMs, which combines the advantages of both two recipes. Therefore, we can leverage the benefit in the I/O utilization of 4-bit weight quantization and the acceleration due to 8-bit matrix computation. Nevertheless, the W4A8 faces notorious performance degradation. As a remedy, we involve layerwise activation quantization strategies which feature a novel logarithmic equalization for most intractable layers, and we combine them with fine-grained weight quantization. Without whistles and bells, we eliminate the necessity for further fine-tuning and obtain the state-of-the-art W4A8 quantized performance on BLOOM, LLaMA, and LLaMA-2 on standard benchmarks. We confirm that the W4A8 quantization is achievable for the deployment of large language models, fostering their wide-spreading real-world applications.

연구 동기 및 목표

• 대규모 언어 모델에서 흔히 발생하는 W4A8 후학습 양자화 시 성능 저하 문제를 해결하기 위해.
• 자원 제약이 있는 장치에서 LLM의 효율적 배포를 위해 메모리 액세스와 계산 처리량을 최적화하기 위해.
• 피팅 튜닝이 필요 없이도 W4A8 양자화에서 최신 기술 수준의 정확도를 유지하기 위해.
• 4비트 가중치 저장과 8비트 활성화 계산을 조화롭게 통합하는 일반화 가능하고 추론 우수한 양자화 기법을 개발하기 위해.

제안 방법

• 모델의 다양한 계층에서 활성화 분포의 어려움에 맞춰 적응 가능한 계층별 양자화 전략을 제안한다.
• 어려운 계층에서 극단적인 활성화 외곽선을 안정화시켜 더 양자화 友好的하게 만들기 위해 새로운 로그 활성화 등가(LAE) 기법을 도입한다.
• 현대 하드웨어에서 효율적인 행렬 곱셈을 위해 8비트 활성화 유지와 함께 4비트 가중치에 대한 세분화된 가중치 양자화를 적용한다.
• 모델 피팅 튜닝이나 기울기 업데이트 없이 오프라인 활성화 통계를 사용해 스케일링 인자를 계산한다.
• 활성화 억제 수준을 제어하기 위해 고도로 파rameter화된 억제 함수를 활용해 다양한 계층에서의 강건성을 향상시킨다.
• 각 계층에서 가중치와 활성화 양자화 결정을 분리함으로써 하이브리드 양자화 기법에서 관찰되는 성능 저하를 방지하는 전략을 설계한다.

실험 결과

연구 질문

• RQ1 W4A8 후학습 양자화가 피팅 튜닝 없이도 LLM에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 극단적인 범위를 가진 활성화 분포는 어떻게 안정화시켜 저비트 환경에서의 양자화 오차를 줄일 수 있는가?
• RQ3 로그 등가 기법을 적용한 계층별 양자화 전략이 W4A8 환경에서 균일하거나 글로벌 양자화보다 우월한 성능을 낼 수 있는가?
• RQ4 실제로 4비트 가중치와 8비트 활성화를 조합하면 W8A8나 W4A16에 비해 더 뛰어난 추론 효율성을 제공하는가?
• RQ5 제안된 방법이 BLOOM, LLaMA, LLaMA-2와 같은 다양한 LLM에서 모델 특화 적응 없이도 높은 정확도를 유지할 수 있는가?

주요 결과

• FPTQ는 피팅 튜닝 없이도 표준 벤치마크인 MMLU와 Common Sense QA에서 BLOOM-7B1, LLaMA-7B, LLaMA-2-7B에서 최신 기술 수준의 W4A8 성능을 달성한다.
• LLaMA-7B에서 FPTQ는 평균 MMLU 점수 73.42를 기록했으며, 이는 4비트 가중치를 사용함에도 불구하고 FP16 기준보다 1.09점 뿐 낮은 성능이다.
• LLaMA-2-7B에서 FPTQ는 평균 MMLU 점수 73.77을 기록했으며, W4A8 기준보다 뛰어난 성능을 보였고, FP16 모델과의 차이도 0.91점 이내에 머물렀다.
• 제거 실험 결과, LAE 이후 GPTQ 피팅 튜닝을 적용하면 성능이 떨어지므로, FPTQ의 성공은 추가 튜닝 없이도 후학습 설계에 기반한다는 점을 확인한다.
• 이 방법은 INT8 추론을 효율적으로 가능하게 하며, INT4 가중치 저장을 통해 자기 디코딩 단계에서 메모리 대역폭 압력을 줄이고, 컨텍스트 디코딩 단계에서 계산 속도를 높인다.
• 로지스틱 등가 기법은 외곽선이 많아지는 계층에서 활성화 분포를 효과적으로 안정화시키며, 그 결과 Figure 1에서 보듯이 양자화 안정성이 향상됨을 입증한다.