[논문 리뷰] A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification

Babak Rokh, Ali Azarpeyvand외 1명|arXiv (Cornell University)|2022. 05. 14.

Advanced Neural Network Applications참고 문헌 175인용 수 5

한 줄 요약

이 종합 검토는 이미지 분류를 위한 딥 네ural 네트워크의 모델 양자화 기법에 대한 포괄적인 분석을 제공하며, 군집 기반 방법, 스케일 요소 근사, 직선 통과 추정기(ste)를 활용한 훈련 전략, 저정밀도 계산을 포함한다. CIFAR-10 및 ImageNet에서 최신 기법을 평가하여 양자화 접근 방식 간의 정확도, 효율성, 하드웨어 성능 간 상호 교환 관계를 통합적으로 비교한다.

ABSTRACT

Recent advancements in machine learning achieved by Deep Neural Networks (DNNs) have been significant. While demonstrating high accuracy, DNNs are associated with a huge number of parameters and computations, which leads to high memory usage and energy consumption. As a result, deploying DNNs on devices with constrained hardware resources poses significant challenges. To overcome this, various compression techniques have been widely employed to optimize DNN accelerators. A promising approach is quantization, in which the full-precision values are stored in low bit-width precision. Quantization not only reduces memory requirements but also replaces high-cost operations with low-cost ones. DNN quantization offers flexibility and efficiency in hardware design, making it a widely adopted technique in various methods. Since quantization has been extensively utilized in previous works, there is a need for an integrated report that provides an understanding, analysis, and comparison of different quantization approaches. Consequently, we present a comprehensive survey of quantization concepts and methods, with a focus on image classification. We describe clustering-based quantization methods and explore the use of a scale factor parameter for approximating full-precision values. Moreover, we thoroughly review the training of a quantized DNN, including the use of a straight-through estimator and quantization regularization. We explain the replacement of floating-point operations with low-cost bitwise operations in a quantized DNN and the sensitivity of different layers in quantization. Furthermore, we highlight the evaluation metrics for quantization methods and important benchmarks in the image classification task. We also present the accuracy of the state-of-the-art methods on CIFAR-10 and ImageNet.

연구 동기 및 목표

• 딥 네럴 네트워크의 이미지 분류를 위한 모델 양자화 기법에 대한 통합적이고 체계적인 검토를 제공하는 것.
• 저정밀도 파라미터 표현을 위한 군집 기반 양자화와 스케일 요소 근사 방법 간의 비교 분석.
• 정확도 유지에 기여하는 직선 통과 추정기 및 양자화 정규화와 같은 훈련 전략의 검토.
• 양자화가 레이어 감도에 미치는 영향과 부동소수점 연산을 비트 연산으로의 대체 분석.
• CIFAR-10 및 ImageNet과 같은 표준 데이터셋에서 최신 기법을 벤치마크하여 정확도 및 효율성 메트릭을 보고하는 것.

제안 방법

• 전체 정밀도 가중치를 저비트 표현으로 매핑하기 위해 군집 기반 접근과 스케일 요소 기반 근사로 양자화 기법을 분류.
• 훈련 중 이산적 양자화 연산을 통과하는 그래디언트 역전파를 가능하게 하기 위해 직선 통과 추정기(ste)의 사용을 검토.
• 저정밀도 네트워크에서 훈련 안정성과 일반화 성능 향상을 위한 양자화 정규화 기법 분석.
• 추론 파이프라인에서 고비용 부동소수점 연산을 저비용 비트 연산으로 대체하는 것 검토.
• 레이어별 양자화 감도 분석을 통해 정확도에 더 민감하거나 더 강건한 레이어 식별.
• 표준 벤치마크를 사용한 성능 평가로, ImageNet 및 CIFAR-10에서의 상위-1 및 상위-5 정확도 포함.

실험 결과

연구 질문

• RQ1 군집 기반 및 스케일 요소 기반 양자화 기법은 정확도 및 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ2 직선 통과 추정기는 양자화 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 양자화 정규화는 저비트 모델의 일반화 및 강건성에 어떻게 기여하는가?
• RQ4 DNN의 어떤 레이어가 양자화에 가장 민감한가, 그리고 이는 모델 정확도에 어떤 영향을 미치는가?
• RQ5 CIFAR-10 및 ImageNet 벤치마크에서 최신 기술의 정확도 결과는 무엇인가?

주요 결과

• 이 검토는 각 레이어 또는 채널 기반 校정을 적용한 스케일 요소 기반 양자화가 대부분의 경우 균일 양자화보다 더 높은 정확도를 달성함을 밝혔다.
• 직선 통과 추정기의 사용은 양자화를 통과하는 효과적인 역전파를 가능하게 하여 저비트 네트워크의 엔드 투 엔드 훈련을 가능하게 한다.
• 양자화 정규화는 특히 저비트 환경(예: 4비트 이하)에서 수렴성 향상과 최종 정확도 향상에 뚜렷한 기여를 한다.
• 큰 커널 크기를 가진 컨볼루션 레이어와 풀 커넥티드 레이어는 양자화에 더 민감하여 주의 깊은 校정 또는 피취닝이 필요하다.
• 최신 기술 기반의 양자화 모델은 CIFAR-10에서 90% 이상의 상위-1 정확도, ImageNet에서는 8비트 양자화로 75% 이상의 상위-1 정확도를 달성하여 전체 정밀도 성능에 근접한다.
• 4비트 또는 8비트 저비트 폭 연산 통합으로 메모리 사용량을 최대 4배 감소시키고, 엣지 디바이스에서 추론 속도를 2~3배 향상시킨다.