[论文解读] A White Paper on Neural Network Quantization

Markus Nagel, Marios Fournarakis+4 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Neural Network Applications参考文献 29被引用 13

一句话总结

本白皮书提出了一套最先进的后训练量化（PTQ）与量化感知训练（QAT）流程，旨在降低边缘设备上神经网络的推理延迟与能耗。通过采用先进的量化技术——包括逐通道量化、范围学习以及批量归一化折叠——该方法在8位量化下实现了接近单精度的准确率，并在多种计算机视觉与自然语言处理模型上实现了4位权重重参数化与激活量化的优异性能。

ABSTRACT

While neural networks have advanced the frontiers in many applications, they often come at a high computational cost. Reducing the power and latency of neural network inference is key if we want to integrate modern networks into edge devices with strict power and compute requirements. Neural network quantization is one of the most effective ways of achieving these savings but the additional noise it induces can lead to accuracy degradation. In this white paper, we introduce state-of-the-art algorithms for mitigating the impact of quantization noise on the network's performance while maintaining low-bit weights and activations. We start with a hardware motivated introduction to quantization and then consider two main classes of algorithms: Post-Training Quantization (PTQ) and Quantization-Aware-Training (QAT). PTQ requires no re-training or labelled data and is thus a lightweight push-button approach to quantization. In most cases, PTQ is sufficient for achieving 8-bit quantization with close to floating-point accuracy. QAT requires fine-tuning and access to labeled training data but enables lower bit quantization with competitive results. For both solutions, we provide tested pipelines based on existing literature and extensive experimentation that lead to state-of-the-art performance for common deep learning models and tasks.

研究动机与目标

• 应对边缘设备在严格功耗与计算资源限制下对节能且低延迟神经网络推理日益增长的需求。
• 缓解将权重与激活降低至低比特宽度（如4位或8位）时由量化噪声引起的准确率下降问题。
• 提供实用且可复现的PTQ与QAT流程，仅需极少工程投入，即可实现最先进性能。
• 引入一种调试工作流，用于系统性诊断并解决新模型量化过程中常见的问题。
• 证明现代量化技术可使卷积神经网络与基于Transformer的模型在4位精度下仍保持高准确率推理性能。

提出的方法

• 提出一种面向硬件的量化框架，聚焦于定点加速器，并将乘加（MAC）运算作为核心计算单元。
• 实现一种PTQ流程，采用对称与非对称量化方案，支持逐张量与逐通道权重量化，并通过在小规模数据子集上校准实现动态范围估计。
• 引入QAT，使用可微量化算子在训练过程中模拟量化噪声，使网络能够学习对低精度表示的鲁棒性。
• 在QAT中采用简单静态方法实现批量归一化折叠，其性能优于更复杂的动态折叠技术。
• 在QAT中引入范围学习，自适应调整激活量化范围，从而提升高动态范围激活的性能。
• 设计一种标准化、经充分测试的流程，整合上述技术，并在包括ImageNet、COCO、Pascal VOC与GLUE基准在内的多个模型与任务上完成验证。

实验结果

研究问题

• RQ1 在不微调的情况下，PTQ能否在多种深度学习模型上实现8位权重与激活量化的近似精度准确率？
• RQ2 结合范围学习与批量归一化折叠的QAT在实现激进的4位量化时，其准确率保持能力如何？
• RQ3 在量化新模型时，关键的失败模式有哪些？如何系统性地诊断并解决这些问题？
• RQ4 逐通道量化与逐张量量化，以及不同量化方案，对低比特网络准确率的影响如何？
• RQ5 基于Transformer的模型（如BERT）在极端量化（如W4A4）下，通过QAT能将性能保持到何种程度？

主要发现

• 所提出的PTQ流程在所有评估模型（包括ResNet18、ResNet50与MobileNetV2）上实现了8位量化，与FP32相比准确率下降不足1%。
• 对于4位权重量化，PTQ在大多数模型上保持了与FP32相差不超过1.5%的准确率，仅在EfficientDet-D1上出现2.5%的下降，该模型仍具挑战性。
• 结合范围学习的QAT实现了4位激活量化，使BERT-base的准确率与FP32相比仅下降1%以内；W4A8在GLUE基准上仅下降0.4%。
• 采用静态批量归一化折叠的QAT流程在深层与复杂架构中表现优于更复杂的动态方法，尤其在保持准确率方面优势明显。
• 在QAT中结合逐通道量化与范围学习，可显著减少高动态范围激活的准确率下降，尤其在BERT与EfficientDet-D1等模型中效果显著。
• 对于EfficientDet-D1，W4A4量化导致准确率下降15.38%（从40.08 mAP降至24.70 mAP），凸显了即使使用QAT，低比特量化在目标检测模型中仍具高度挑战性。