[논문 리뷰] Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation

Hao Wu, Patrick Judd외 3명|arXiv (Cornell University)|2020. 04. 20.

Advanced Neural Network Applications참고 문헌 57인용 수 217

한 줄 요약

이 논문은 DL 추론을 위한 균일 정수 양자화의 수학을 분석하고 Vision, Language, Speech 모델 전반에 걸친 PTQ와 QAT를 평가하여 8비트 양자화 워크플로우에서 FP32 대비 정확도 1% 이내를 달성한다.

ABSTRACT

Quantization techniques can reduce the size of Deep Neural Networks and improve inference latency and throughput by taking advantage of high throughput integer instructions. In this paper we review the mathematical aspects of quantization parameters and evaluate their choices on a wide range of neural network models for different application domains, including vision, speech, and language. We focus on quantization techniques that are amenable to acceleration by processors with high-throughput integer math pipelines. We also present a workflow for 8-bit quantization that is able to maintain accuracy within 1% of the floating-point baseline on all networks studied, including models that are more difficult to quantize, such as MobileNets and BERT-large.

연구 동기 및 목표

• 가중치와 활성화에 대한 균일 정수 양자화의 수학적 기초를 명확히 한다.
• 양자화 정밀도와 보정(calibration)이 다양한 모델의 정확도에 미치는 영향을 평가한다.
• PTQ(사후 양자화) 및 QAT(양자화 인지 학습)에 대한 실용적 워크플로우와 가이던스를 제공한다.
• 양자화로 인해 성능 저하를 복구하기 위한 기술(부분 양자화, 학습 기반 방법)을 평가한다.
• 추론 효율성을 위한 근사 선형 변환(affine)과 스케일 양자화의 트레이드오프를 Demonstrate한다.

제안 방법

• 균일 양자화를 실제 범위를 정수 범위에 매핑하는 선형(affine) 또는 스케일 맵핑으로 형식화한다.
• 정밀도(granularity) 평가(텐서별, 행/열별, 채널별)와 이것이 정수 GEMM 가능성 및 정확도에 미치는 영향을 분석한다.
• 활성화 및 가중치에 대한 보정 방법을 비교한다(최대값, 엔트로피/KL, 분위수).
• 다양한 모델과 태스크에 걸쳐 PTQ 및 QAT를 평가한다.
• 가장 민감한 계층은 부동소수점으로 두고 정확도를 회복하기 위한 부분 양자화를 제안한다.
• 학습 중 양자화 매개변수 학습 및 활성화 범위 학습(PACT)을 논의한다.

실험 결과

연구 질문

• RQ1 affines와 스케일 양자화가 DL 추론의 계산 효율성과 정확성 측면에서 어떻게 비교되는가?
• RQ2 양자화 정밀도가 모델 정확도와 하드웨어 성능에 어떤 영향을 미치는가?
• RQ3 PTQ가 다양한 아키텍처에서 거의 부동소수점 정확도를 달성할 수 있는가, 그리고 QAT가 언제 이로운가?
• RQ4 가중치와 활성화에 대한 어떤 보정 전략이 모델 간 정확도를 가장 잘 보존하는가?
• RQ5 8비트 추론에서 FP32 대비 정확도를 1% 이내로 유지할 수 있는 실무 워크플로우는 무엇인가?

주요 결과

• 균일 스케일 양자화는 추가 계산 없이도 효율적인 정수 GEMM을 가능하게 하며, 해로운 연산을 수반하는 아핀 양자화와 달리 오버헤드가 작다.
• 채널별 가중치 양자화와 최대 보정은 BN 폴딩 이후에도 네트워크 전반에서 정확도를 유지한다; 텐서별 양자화는 다수의 모델에서 상당한 손실을 유발할 수 있다.
• 엔트로피 또는 높은 백분위수(예를 들어 99.99%)로 보정된 활성화가 많은 네트워크에서 최상의 PTQ 정확도를 제공하며, 최대 보정은 이상치가 있는 네트워크에서 종종 성능이 떨어진다.
• PTQ는 많은 모델에서 1% 이내의 정확도 손실을 유지할 수 있지만, MobileNet, EfficientNet, Transformer, BERT와 같은 일부 네트워크는 부분 양자화나 QAT와 같은 추가 기술이 필요하다.
• 양자화 인지 학습(QAT)은 정확도를 더 향상시키고 PTQ 결과와 일치하거나 능가할 수 있으며, 대부분의 네트워크가 미세 조정 후 FP32 기준에서 1% 이내를 유지한다.
• 부분 양자화는 민감한 계층의 양자화를 건너 두어 정확도를 회복할 수 있고, 학습 범위(PACT)로 학습된 QAT가 일부 경우 추가 이득을 제공한다.
• 학습 중 활성화의 학습된 범위는 여러 모델에서 PTQ 결과를 개선한다.