[论文解读] Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection

Tianshu Chu, Qin Luo+2 more|arXiv (Cornell University)|Dec 29, 2019

Advanced Neural Network Applications参考文献 35被引用 5

一句话总结

该论文提出一种逐层递减位宽的混合精度量化神经网络，其中深层网络使用更低精度（最低至1比特），而浅层网络保持更高精度（最高至8比特）。通过利用深层网络对量化敏感度逐渐降低的特性，该方法相比同质量化将模型大小减少了30%以上，同时在图像分类和目标检测基准上保持或提升了准确率。

ABSTRACT

Efficient model inference is an important and practical issue in the deployment of deep neural network on resource constraint platforms. Network quantization addresses this problem effectively by leveraging low-bit representation and arithmetic that could be conducted on dedicated embedded systems. In the previous works, the parameter bitwidth is set homogeneously and there is a trade-off between superior performance and aggressive compression. Actually the stacked network layers, which are generally regarded as hierarchical feature extractors, contribute diversely to the overall performance. For a well-trained neural network, the feature distributions of different categories differentiate gradually as the network propagates forward. Hence the capability requirement on the subsequent feature extractors is reduced. It indicates that the neurons in posterior layers could be assigned with lower bitwidth for quantized neural networks. Based on this observation, a simple but effective mixed-precision quantized neural network with progressively ecreasing bitwidth is proposed to improve the trade-off between accuracy and compression. Extensive experiments on typical network architectures and benchmark datasets demonstrate that the proposed method could achieve better or comparable results while reducing the memory space for quantized parameters by more than 30\% in comparison with the homogeneous counterparts. In addition, the results also demonstrate that the higher-precision bottom layers could boost the 1-bit network performance appreciably due to a better preservation of the original image information while the lower-precision posterior layers contribute to the regularization of $k-$bit networks.

研究动机与目标

• 解决在资源受限设备上量化神经网络的模型压缩与准确率之间的权衡问题。
• 通过基于层间特征分布和网络深度分配位宽，改进同质量化方法。
• 通过减少内存和计算量，实现深度网络在边缘设备上的高效部署，同时不牺牲性能。
• 在包括图像分类和目标检测在内的多种架构和任务上，验证逐层递减位宽策略的有效性。

提出的方法

• 该方法为深层网络分配逐步降低的位宽，从早期层的8比特或4比特开始，逐步减少至最终层的1比特。
• 其依据是深层网络提取更具判别性和可分性特征，因此对量化更不敏感。
• 高精度的底层网络保留原始图像信息，而低精度的顶层网络则在k比特网络中起到正则化作用。
• 该框架应用于VGG、AlexNet、ResNet-18/20和SSD，采用标准优化方法（Adam/SGD）和量化感知训练进行端到端训练。
• 位宽调度策略根据每种架构的层深度和特征分布趋势，手动设计。
• 通过减少参数存储大小实现模型压缩，推理阶段通过定点数运算加速。

实验结果

研究问题

• RQ1 在网络层间逐步减少位宽，是否能改善量化神经网络中的准确率-压缩权衡？
• RQ2 训练后的深层网络是否由于具有更可分的特征表示，而对量化表现出更低的敏感度？
• RQ3 高精度的底层网络是否能通过保留输入级信息，提升1比特网络的性能？
• RQ4 与同质k比特量化相比，采用递减位宽的混合精度量化是否在准确率和模型大小方面表现更优？

主要发现

• 所提出的混合精度QNN相比同质量化，将参数内存使用量减少了30%以上，同时保持或提升了准确率。
• 在CIFAR-100上，8-4-2-1-1-1混合精度ResNet-20达到71.53%的Top-1准确率，参数大小仅为1.06 MB，优于同质1比特和2比特基线模型。
• 在ImageNet上，混合精度ResNet-18达到65.03%的Top-1准确率，模型大小为1.42 MB，超过同质2比特基线（64.40%）和1比特方法。
• 在Pascal VOC上，混合精度SSD达到62.21%的mAP，优于同质2比特Dorefa基线（60.66%），并在低精度下展现出基本的目标检测能力。
• 训练曲线显示稳定收敛，表明渐进式位宽策略与标准训练流程兼容。
• 该方法表明，高精度的早期层在低精度网络中显著提升性能，尤其在1比特设置下效果明显。