[논문 리뷰] Improving Post Training Neural Quantization: Layer-wise Calibration and Integer Programming

Itay Hubara, Yury Nahshan외 3명|arXiv (Cornell University)|2020. 06. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 76

한 줄 요약

이 논문은 post-training quantization 도중 계층별 가중치 및 활성화 최적화를 위한 AdaQuant과 계층별 비트폭 배치를 위한 정수 프로그래밍 접근법을 소개하며, 매우 작은 보정 세트로도 컴퓨터 비전 및 언어 모델에서 최첨단 성능을 달성합니다.

ABSTRACT

Lately, post-training quantization methods have gained considerable attention, as they are simple to use, and require only a small unlabeled calibration set. This small dataset cannot be used to fine-tune the model without significant over-fitting. Instead, these methods only use the calibration set to set the activations' dynamic ranges. However, such methods always resulted in significant accuracy degradation, when used below 8-bits (except on small datasets). Here we aim to break the 8-bit barrier. To this end, we minimize the quantization errors of each layer separately by optimizing its parameters over the calibration set. We empirically demonstrate that this approach is: (1) much less susceptible to over-fitting than the standard fine-tuning approaches, and can be used even on a very small calibration set; and (2) more powerful than previous methods, which only set the activations' dynamic ranges. Furthermore, we demonstrate how to optimally allocate the bit-widths for each layer, while constraining accuracy degradation or model compression by proposing a novel integer programming formulation. Finally, we suggest model global statistics tuning, to correct biases introduced during quantization. Together, these methods yield state-of-the-art results for both vision and text models. For instance, on ResNet50, we obtain less than 1\% accuracy degradation --- with 4-bit weights and activations in all layers, but the smallest two. We open-sourced our code.

연구 동기 및 목표

• 8비트 미만의 정확도 저하를 해결하기 위한 포스트 트레이닝 양자화의 정확도 손실 해소
• 과적합 없이 작고 제한된 보정 세트를 사용하는 계층별 최적화 방법(AdaQuant) 개발
• 정확도/ prune 제약하에서 계층별로 비트폭을 최적으로 할당하기 위한 정수 프로그래밍 형식화 제안
• 양자화로 인해 유도된 편향을 완화하기 위한 배치 정규화 튜닝 도입
• 다양한 하드웨어 시나리오에 적합한 경량 및 고급 배포 파이프라인 제시

제안 방법

• AdaQuant: 전체 정밀도와 양자화된 출력 간의 MSE를 최소화하기 위한 계층별 가중치와 양자화 매개변수의 공동 최적화로, V가 W를 조정하도록 하며(식 2) 순차 대 병렬 변형(Eq. 3-4)을 가능하게 합니다.
• 각 계층이 총 정확도 저하 제약 내에서 엔드투엔드 성능 향상을 극대화하기 위해 (k,n) 비트 구성을 선택하는 혼합 정밀도 비트 배치를 위한 정수 프로그래밍 형식화(수식 5a–5d)
• Batch Normalization Tuning (BNT): BN 재구성, 보정 데이터에서 러닝 스탯 재추정, BN을 가중치에 재융합하여 통계를 보정(식 6–8)
• 경량 파이프라인 vs 고급 파이프라인: 역전파 없이 작동하는 경량 파이프라인과 AdaQuant, IP, BN 튜닝, 바이어스 튀닝을 추가하는 고급 파이프라인(Table 1).
• 비전(ResNet 계열, MobileNet-V2) 및 언어(BERT on SQuAD) 전반에 걸친 평가에서 AdaQuant가 QAT-KLD 및 AdaRound보다 우수하며, 특히 작은 보정 세트에서 우수한 성능을 보임

실험 결과

연구 질문

• RQ1 포스트 트레이닝 양자화가 대규모 재학습이나 큰 보정 데이터세트 없이 8비트 미만의 정확도를 달성할 수 있는가?
• RQ2 계층별 최적화(AdaQuant)가 계층 간 가중치 및 양자화 매개변수를 공동으로 조정해 양자화 정확도를 개선할 수 있는가?
• RQ3 정수 프로그래밍을 사용해 정확도/처율 제약 하에 계층별 비트폭을 최적으로 할당하는 방법은?
• RQ4 양자화가 초래한 배치 정규화 편향의 영향은 무엇이며 BN 통계를 재추정해 정확도를 회복할 수 있는가?
• RQ5 제안된 AdaQuant 및 IP 기반 방법이 실용적인 보정 제약하에서 비전 및 텍스트 모델 모두에서 최첨단 결과를 도출하는가?

주요 결과

• AdaQuant는 작은 보정 세트로도 비전(ResNet, MobileNet-V2) 및 언어(BERT)에서 포스트 트레이닝 양자화의 최첨단 성능을 달성합니다.
• AdaQuant는 가중치, 양자화 매개변수 및 바이어스를 공동 최적화하여 양자화 오차를 줄이고, 특히 아주 작은 보정 데이터에서 AdaRound 및 QAT 기반 기준선보다 우수합니다.
• 계층별 IP 비트 배치는 총 저하 제약 하에 혼합 정밀도 구성을 선택해 엔드-투-엔드 성능을 further 개선할 수 있으며, 경우에 따라 2비트 계층까지 가능해 압축을 촉진합니다.
• Batch-Norm Tuning(BNT)은 양자화로 인해 발생하는 평균/분산 편향을 효과적으로 완화하여 보정 데이터의 몇 번의 전달 패스로도 현저한 정확도 향상을 제공합니다.
• 두 가지 배포 파이프라인이 제안됩니다: 경량 파이프라인(역전파 없음)과 고급 파이프라인(AdaQuant + IP + BN 튜닝 + 바이어스 튜닝), 모두 재학습 없이도 강력한 성능을 달성합니다.