[논문 리뷰] A Survey of Quantization Methods for Efficient Neural Network Inference

Amir Gholami, Sehoon Kim외 4명|arXiv (Cornell University)|2021. 03. 25.

Neural Networks and Applications인용 수 36

한 줄 요약

본 고찰은 신경망 추론을 위한 양자화 기법을 검토하며, 균일 양자화와 비균일 양자화, 보정 전략, 세분화, 미세조정 방법 및 하드웨어 영향에 대해 자세히 다룬다. 정확도, 효율성 및 하드웨어 플랫폼 전반의 배치 가능성 간의 트레이드오프를 강조한다.

ABSTRACT

As soon as abstract mathematical computations were adapted to computation on digital computers, the problem of efficient representation, manipulation, and communication of the numerical values in those computations arose. Strongly related to the problem of numerical representation is the problem of quantization: in what manner should a set of continuous real-valued numbers be distributed over a fixed discrete set of numbers to minimize the number of bits required and also to maximize the accuracy of the attendant computations? This perennial problem of quantization is particularly relevant whenever memory and/or computational resources are severely restricted, and it has come to the forefront in recent years due to the remarkable performance of Neural Network models in computer vision, natural language processing, and related areas. Moving from floating-point representations to low-precision fixed integer values represented in four bits or less holds the potential to reduce the memory footprint and latency by a factor of 16x; and, in fact, reductions of 4x to 8x are often realized in practice in these applications. Thus, it is not surprising that quantization has emerged recently as an important and very active sub-area of research in the efficient implementation of computations associated with Neural Networks. In this article, we survey approaches to the problem of quantizing the numerical values in deep Neural Network computations, covering the advantages/disadvantages of current methods. With this survey and its organization, we hope to have presented a useful snapshot of the current research in quantization for Neural Networks and to have given an intelligent organization to ease the evaluation of future research in this area.

연구 동기 및 목표

• 신경망에 적용된 양자화의 역사적 맥락과 기초 개념을 요약한다.
• 주요 양자화 방법(균일 vs 비균일, 대칭 vs 비대칭)과 그 트레이드오프를 특징지운다.
• 활성화 및 가중치에 대한 보정, 세분화, 동적 vs 정적 접근 방식을 설명한다.
• 양자화에 대한 미세조정 전략(QAT vs PTQ)과 그래디언트 처리 방법을 논의한다.
• 에지 배치를 위한 하드웨어 영향과 실용적 고려사항을 강조한다.

제안 방법

• 양자화 연산자와 부동소수점에서 저정밀 값으로의 매핑을 정의한다(예: Q(r) 및 디퀀타이제이션).
• 대칭 vs 비대칭 및 전체 범위 양자화 vs 제한된 범위 양자화를 구분하고 제로 포인트 처리를 다룬다.
• 활성화에 대한 정적 vs 동적 보정을 설명하고 정확도와 오버헤드에 미치는 영향을 제시한다.
• 레이어별, 그룹별, 채널별, 서브채널별 등의 세분화 옵션과 그 효과를 설명한다.
• 균일 vs 비균일 양자화를 요약하고 학습 가능한/학습 불가능한 양자화기 및 최적화 기반 접근을 포함한다.
• 스트레이트-스루 추정기(STE) 를 이용한 양자화 인식 학습(QAT)과 대안적 비-STE 방법, 그리고 클리핑 범위 학습(PACT, LSQ, LSQ+) 을 제시한다.

실험 결과

연구 질문

• RQ1 신경망 추론에 대한 주요 양자화 전략과 그에 따른 정확도와 효율성의 트레이드오프는 무엇인가?
• RQ2 보정, 세분화 및 양자화 유형(균일 vs 비균일)이 실제 모델 및 하드웨어에서 성능에 어떤 영향을 미치는가?
• RQ3 효과적인 미세조정 전략(QAT vs PTQ) 및 양자화 네트워크를 위한 그래디언트 처리 방법은 무엇인가?
• RQ4 하드웨어 고려사항이 에지 디바이스에 대한 실용적 양자화 선택에 어떤 영향을 미치는가?

주요 결과

• 균일 양자화는 단순성과 하드웨어 효율성으로 인해 기본 표준으로 자리잡고 있으며, 비균일 양자화가 특정 경우에 잠재적인 정확도 향상을 제공한다.
• 채널별(채널당) 양자화는 가중치의 해상도와 정확도를 향상시키는 반면, 레이어별 양자화는 성능 저하를 유발할 수 있다.
• 활성화 범위의 동적 보정은 더 높은 정확도를 제공하지만 런타임 오버헤드를 초래하며, 정적 보정은 저렴하지만 일반적으로 정확도가 낮아진다.
• STE를 이용한 QAT가 양자화를 통한 학습의 주류 방법이며, 대안적 비-STE 방법과 학습 가능한 클리핑 범위도 가능성을 보여준다.
• 비균일 양자화는 분포를 더 잘 포착할 수 있지만 일반 하드웨어에 배포하기는 더 어렵다; 배포를 위한 균일한 접근 방식의 실용성이 논문에서 강조된다.