[논문 리뷰] Efficient Post-training Quantization with FP8 Formats

Haihao Shen, Naveen Mellempudi외 4명|arXiv (Cornell University)|2023. 09. 26.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델 및 비전 작업에서 INT8보다 모델 정확도와 워크로드 커버리지 측면에서 향상시키기 위해 FP8 형식(E5M2, E4M3, E3M4)을 사용하는 통합적이고 확장 가능한 사후 훈련 양자화 프레임워크를 제안한다. E4M3은 NLP에서(96.32% 커버리지), E3M4는 비전에서(78.95% 커버리지) 뛰어난 성능을 보이며, 혼합 FP8 형식과 동적 양자화를 통해 정확도가 추가로 향상됨을 입증한다.

ABSTRACT

Recent advances in deep learning methods such as LLMs and Diffusion models have created a need for improved quantization methods that can meet the computational demands of these modern architectures while maintaining accuracy. Towards this goal, we study the advantages of FP8 data formats for post-training quantization across 75 unique network architectures covering a wide range of tasks, including machine translation, language modeling, text generation, image classification, generation, and segmentation. We examine three different FP8 representations (E5M2, E4M3, and E3M4) to study the effects of varying degrees of trade-off between dynamic range and precision on model accuracy. Based on our extensive study, we developed a quantization workflow that generalizes across different network architectures. Our empirical results show that FP8 formats outperform INT8 in multiple aspects, including workload coverage (92.64% vs. 65.87%), model accuracy and suitability for a broader range of operations. Furthermore, our findings suggest that E4M3 is better suited for NLP models, whereas E3M4 performs marginally better than E4M3 on computer vision tasks. The code is publicly available on Intel Neural Compressor: https://github.com/intel/neural-compressor.

연구 동기 및 목표

• 최근의 모델(예: LLM 및 디퓨전 네트워크)에서 이상치와 동적 범위 처리에 있어 INT8 양자화의 한계를 해결하기 위해.
• 다양한 모델 아키텍처에서 사후 훈련 양자화에 적용되는 세 가지 FP8 형식(E5M2, E4M3, E3M4)의 효과를 평가하기 위해.
• NLP, 컴퓨터 비전, 다중 모odal 작업 전반에 적용 가능한 일반화되고 확장 가능한 양자화 워크플로우를 개발하기 위해.
• 정확도와 커버리지 최대화를 위해 최적의 FP8 형식 및 양자화 전략(예: 혼합 형식, 동적 양자화)을 규명하기 위해.

제안 방법

• 대칭 및 비대칭 양자화를 모두 지원하는 per-channel 스케일링을 갖춘 FP8 형식을 위한 통합된 사후 훈련 양자화 워크플로우를 제안한다.
• 세 가지 FP8 형식—E5M2(넓은 동적 범위), E4M3(정밀도/동적 범위 균형), E3M4(높은 정밀도, 제한된 범위)—를 활용하여 상호 간의 성능 트레이드오프를 분석한다.
• NLP 모델에서 활성화에 E4M3, 가중치에 E3M4를 할당하여 혼합 FP8 형식을 적용함으로써 양자화 오차를 감소시킨다.
• 작은 校정 데이터셋을 사용할 경우 BatchNorm 통계와 모델 정확도 향상을 위해 校정 동안 데이터 증강을 적용한다.
• 정적 및 동적 양자화 방식을 평가하며, 동적 양자화가 NLP 모델에서 정확도 향상에 기여함을 확인한다.
• 정확도 기반으로 최적의 양자화 하이퍼파rameter 및 형식을 자동으로 선택하는 정확도 주도의 자동 모델 튜닝 기법을 도입한다.

Figure 1: ( left ) Histogram of the tensor $X\sim\mathcal{N}(\mu=0.0,\,\sigma^{2}=0.5)$ , that contains a small number ( 1%) of outliers uniformly distributed between -6.0 to 6.0. ( center ) Distribution of quantized values represented by E5M2, E4M3, E3M4 and INT8 data formats. ( right ) Overall qua

실험 결과

연구 질문

• RQ1 다양한 딥러닝 모델에서 INT8에 비해 각기 다른 FP8 형식(E5M2, E4M3, E3M4)이 모델 정확도와 워크로드 커버리지 측면에서 어떻게 성능을 내는가?
• RQ2 사후 훈련 양자화에서 NLP 모델과 컴퓨터 비전 모델에 가장 적합한 FP8 형식은 무엇인가?
• RQ3 예를 들어 활성화에 E4M3, 가중치에 E3M4를 할당하는 혼합 FP8 형식이 단일 형식 기반 접근법을 초월해 양자화 정확도를 향상시킬 수 있는가?
• RQ4 사후 훈련 양자화에서 FP8 형식을 사용할 때 동적 양자화는 정적 양자화에 비해 어떻게 비교되는가?
• RQ5 FP8 양자화 하에서 BatchNorm 레이어의 정확도를 가장 잘 유지하기 위한 校정 전략(예: 데이터 증강)은 무엇인가?

주요 결과

• FP8 양자화는 75개 모델에서 92.64%의 워크로드 커버리지 달성하여 INT8의 65.87%에 비해 뚜렷이 뛰어나다.
• E4M3는 NLP 모델에서 96.32%의 커버리지 달성하여 E3M4(92.11%)를 능가함을 보이며, NLP 워크로드에 있어 우월함을 입증한다.
• E3M4는 컴퓨터 비전 모델에서 78.95%의 커버리지 달성하여 E4M3(73.68%)를 약간 앞서며 이 분야에서의 우수성을 입증한다.
• 혼합 FP8 형식(E4M3를 활성화에, E3M4를 가중치에 할당)은 BERT-base(MRPC: 0.9069 vs. 0.9050) 및 Funnel(MRPC: 0.9233 vs. 0.9207)에서 정확도 향상을 이끌어낸다.
• E4M3를 사용한 BERT-Large(RTE)에서 동적 양자화는 정확도를 최대 +0.98% 향상시키며, 이는 NLP 모델에 있어 그 이점이 있음을 보여준다.
• 3,000개의 훈련 증강 校정 샘플을 사용하고 데이터 증강을 적용할 경우, 추론 전용 또는 더 작은 데이터셋에 비해 정확도 유지가 뛰어나며, 특히 BatchNorm 레이어에서 유의미한 성과를 보인다.

Figure 2: Standard Quantization Scheme : default configuration for broad set of operations across different workloads, Extended Quantization Scheme : configuration for additional operator coverage (Ex: LayerNorm, BatchNorm & element-wise), mixed FP8 formats, dynamic quantization, BatchNorm Calibrati