[论文解读] A High-Performance Adaptive Quantization Approach for Edge CNN Applications

Hsu-Hsun Chin, Ren‐Song Tsay+1 more|arXiv (Cornell University)|Jul 18, 2021

Infrared Target Detection Methodologies参考文献 54被引用 4

一句话总结

本文提出一种自适应量化方法，通过在4位整数推理过程中动态调整缩放和偏移因子，缓解边缘优化卷积神经网络中因激活值偏移导致的精度损失。在ImageNet、COCO和PTB基准测试中，该方法实现了最先进精度——在某些情况下甚至超越全精度模型——同时支持在高度资源受限的边缘设备上部署。

ABSTRACT

Recent convolutional neural network (CNN) development continues to advance the state-of-the-art model accuracy for various applications. However, the enhanced accuracy comes at the cost of substantial memory bandwidth and storage requirements and demanding computational resources. Although in the past the quantization methods have effectively reduced the deployment cost for edge devices, it suffers from significant information loss when processing the biased activations of contemporary CNNs. In this paper, we hence introduce an adaptive high-performance quantization method to resolve the issue of biased activation by dynamically adjusting the scaling and shifting factors based on the task loss. Our proposed method has been extensively evaluated on image classification models (ResNet-18/34/50, MobileNet-V2, EfficientNet-B0) with ImageNet dataset, object detection model (YOLO-V4) with COCO dataset, and language models with PTB dataset. The results show that our 4-bit integer (INT4) quantization models achieve better accuracy than the state-of-the-art 4-bit models, and in some cases, even surpass the golden full-precision models. The final designs have been successfully deployed onto extremely resource-constrained edge devices for many practical applications.

研究动机与目标

• 解决量化边缘CNN中因激活值偏移导致的显著精度下降问题。
• 在不牺牲模型性能的前提下，降低边缘部署中的内存带宽和计算成本。
• 开发一种在训练过程中根据任务损失自适应调整的量化策略。
• 实现在极端资源受限边缘设备上的高精度4位推理。
• 超越现有4位量化方法，并在某些情况下超越全精度模型。

提出的方法

• 该方法基于任务损失反馈，在训练过程中动态调整缩放和偏移因子。
• 引入一种可学习的量化函数，通过基于梯度的优化方法实现逐层自适应。
• 量化过程采用非均匀、非对称的量化方案，以保留激活值分布特征。
• 通过反向传播更新缩放和偏移参数，以在微调过程中最小化任务损失。
• 该方法应用于训练后量化和微调阶段，与标准CNN架构保持兼容。
• 在多种模型上进行了评估：ResNet、MobileNet-V2、EfficientNet-B0、YOLO-V4以及PTB上的语言模型。

实验结果

研究问题

• RQ1 动态调整量化参数是否能减少4位量化边缘CNN中的精度损失？
• RQ2 基于任务损失的自适应缩放与偏移与固定量化方案相比表现如何？
• RQ3 4位量化模型能否实现与全精度模型相当或更高的精度？
• RQ4 该方法在高度资源受限边缘设备上的部署程度如何？
• RQ5 该自适应量化方法是否在多种CNN架构和任务中具备泛化能力？

主要发现

• 所提出的4位量化方法在ImageNet上的top-1精度高于当前最先进的4位量化基线模型。
• 在多个案例中，4位模型的精度甚至超过了其全精度对应模型，尤其在ResNet-18和MobileNet-V2上表现突出。
• 该方法在多种任务中保持高性能，包括图像分类、目标检测（YOLO-V4在COCO上的表现）以及语言建模（PTB）。
• 最终量化模型已成功部署于极端资源受限的边缘设备，证实了其实际可行性。
• 对缩放和偏移因子的自适应调整显著减少了因激活值偏移导致的信息损失，尤其在更深、更现代的CNN中效果明显。
• 该方法在多种网络架构和数据集上展现出强鲁棒性与泛化能力。