[논문 리뷰] A White Paper on Neural Network Quantization

Markus Nagel, Marios Fournarakis외 4명|arXiv (Cornell University)|2021. 06. 15.

Advanced Neural Network Applications참고 문헌 29인용 수 13

한 줄 요약

이 화이트페이퍼는 엣지 디바이스에서 신경망 추론 지연 시간과 에너지 소비를 줄이기 위한 최신 기술 기반의 후기 훈련 양자화(PTQ) 및 양자화 인식 훈련(QAT) 파이프라인을 제시한다. 고도로 발전된 양자화 기법—예를 들어, 채널별 양자화, 범위 학습, 배치 정규화 편입—을 활용하여 8비트 양자화에서 정밀도에 근접한 정확도를 달성하고, 다양한 컴퓨터 비전 및 NLP 모델에서 4비트 가중치와 활성화에 대해 경쟁적인 성능을 제공한다.

ABSTRACT

While neural networks have advanced the frontiers in many applications, they often come at a high computational cost. Reducing the power and latency of neural network inference is key if we want to integrate modern networks into edge devices with strict power and compute requirements. Neural network quantization is one of the most effective ways of achieving these savings but the additional noise it induces can lead to accuracy degradation. In this white paper, we introduce state-of-the-art algorithms for mitigating the impact of quantization noise on the network's performance while maintaining low-bit weights and activations. We start with a hardware motivated introduction to quantization and then consider two main classes of algorithms: Post-Training Quantization (PTQ) and Quantization-Aware-Training (QAT). PTQ requires no re-training or labelled data and is thus a lightweight push-button approach to quantization. In most cases, PTQ is sufficient for achieving 8-bit quantization with close to floating-point accuracy. QAT requires fine-tuning and access to labeled training data but enables lower bit quantization with competitive results. For both solutions, we provide tested pipelines based on existing literature and extensive experimentation that lead to state-of-the-art performance for common deep learning models and tasks.

연구 동기 및 목표

• 엄격한 전력 및 계산 자원 제약 조건을 가진 엣지 디바이스에서 에너지 효율적이고 저지연 추론을 위한 신경망의 증가하는 수요를 해결한다.
• 가중치와 활성화를 저비트 폭(예: 4비트 또는 8비트)으로 줄일 때 발생하는 양자화 노이즈로 인한 정확도 저하 문제를 완화한다.
• 최소한의 엔지니어링 노력으로도 최신 기술 수준의 성능을 달성할 수 있는, 실용적이고 재현 가능한 PTQ 및 QAT 파이프라인을 제공한다.
• 새로운 모델을 양자화할 때 흔히 발생하는 문제를 체계적으로 진단하고 해결하기 위한 디버깅 워크플로우를 도입한다.
• 현대적 양자화 기법이 컨volutional 및 트랜스포머 기반 모델 모두에서 4비트 정밀도 조차도 고정밀도 추론을 가능하게 함을 입증한다.

제안 방법

• 고정소수점 가속기와 승산연산(MAC)을 핵심 계산 단위로 삼는 하드웨어 기반의 양자화 프레임워크를 제안한다.
• 대상 데이터 세트의 소규모 서브셋을 사용한 校정을 통한 동적 범위 추정을 포함한 대칭 및 비대칭 양자화 방식, 텐서별 및 채널별 가중치 양자화를 적용한 PTQ 파이프라인을 구현한다.
• 학습 중에 양자화 노이즈를 시뮬레이션하는 미분 가능 양자화 연산자를 도입하여, 네트워크가 저정밀도 표현에 대한 강건성을 학습할 수 있도록 QAT를 구현한다.
• 더 복잡한 동적 편입 기법보다도 성능이 뛰어난 단순한 정적 방법을 사용해 QAT에서 배치 정규화 편입을 수행한다.
• QAT에서 범위 학습을 활용해 활성화 양자화 범위를 적응적으로 조정함으로써 고다이나믹 레인지 활성화에 대한 성능 향상을 도모한다.
• 이러한 기법들을 통합한 표준화되고 테스트된 파이프라인을 설계하여, ImageNet, COCO, Pascal VOC, GLUE 벤치마크 등 다양한 모델과 작업에 대해 검증하였다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 다양한 딥러닝 모델에서 8비트 양자화의 가중치와 활성화에 대해 정밀도에 근접한 정확도를 달성할 수 있는가?
• RQ2 범위 학습과 배치 정규화 편입을 통한 QAT는 정확도를 유지하면서도 극단적으로 4비트 양자화를 가능하게 하는가?
• RQ3 새로운 모델을 양자화할 때 발생하는 주요 실패 유형은 무엇이며, 이를 어떻게 시스템적으로 진단하고 해결할 수 있는가?
• RQ4 채널별 vs. 텐서별 양자화 및 다양한 양자화 방식이 저비트 네트워크의 정확도에 어떤 영향을 미치는가?
• RQ5 BERT와 같은 트랜스포머 기반 모델은 QAT를 통해 W4A4와 같은 극한의 양자화 조건에서도 성능을 유지할 수 있는가?

주요 결과

• 제안된 PTQ 파이프라인은 ResNet18, ResNet50, MobileNetV2를 포함한 모든 평가 대상 모델에서 FP32 대비 1% 이내의 정확도 손실로 8비트 양자화를 달성한다.
• 4비트 가중치 양자화의 경우, 대부분의 모델에서 FP32 정확도의 1.5% 이내로 성능 유지하며, EfficientDet-D1에서는 2.5%의 정확도 손실을 보이지만 여전히 도전 과제로 남아 있다.
• 범위 학습을 통한 QAT는 BERT-base에서 4비트 활성화 양자화를 통해 FP32 정확도의 1% 이내로 유지하며, W4A8는 GLUE 벤치마크에서 단지 0.4%의 정확도 손실을 기록한다.
• 정적 배치 정규화 편입을 사용한 QAT 파이프라인은 더 복잡한 동적 방법보다 성능이 뛰어나며, 특히 더 깊고 복잡한 아키텍처에서 정확도 유지에 유리하다.
• QAT에서 채널별 양자화와 범위 학습을 조합함으로써 고다이나믹 레인지 활성화에 대한 정확도 저하를 감소시켜, BERT나 EfficientDet-D1 같은 모델에서 특히 효과적이다.
• EfficientDet-D1의 경우 W4A4 양자화로 정확도가 15.38% 감소(40.08에서 24.70 mAP로)하여, 객체 검출 모델의 저비트 양자화가 심지어 QAT를 사용하더라도 여전히 도전적인 과제임을 보여준다.