[论文解读] Fixed Point Quantization of Deep Convolutional Networks

Darryl Dexu Lin, Sachin S. Talathi+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 26被引用 606

一句话总结

本文提出一种基于优化的定点量化方法，用于深度卷积网络（DCNs），利用信噪比（SQNR）确定各层最优位宽分配。该方法在CIFAR-10上实现超过20%的模型尺寸缩减，且无精度损失，并在微调后报告了新的最先进6.78%错误率，证明了基于SQNR的位宽分配在高效嵌入式部署中的有效性。

ABSTRACT

In recent years increasingly complex architectures for deep convolution networks (DCNs) have been proposed to boost the performance on image recognition tasks. However, the gains in performance have come at a cost of substantial increase in computation and model storage resources. Fixed point implementation of DCNs has the potential to alleviate some of these complexities and facilitate potential deployment on embedded hardware. In this paper, we propose a quantizer design for fixed point implementation of DCNs. We formulate and solve an optimization problem to identify optimal fixed point bit-width allocation across DCN layers. Our experiments show that in comparison to equal bit-width settings, the fixed point DCNs with optimized bit width allocation offer >20% reduction in the model size without any loss in accuracy on CIFAR-10 benchmark. We also demonstrate that fine-tuning can further enhance the accuracy of fixed point DCNs beyond that of the original floating point model. In doing so, we report a new state-of-the-art fixed point performance of 6.78% error-rate on CIFAR-10 benchmark.

研究动机与目标

• 为解决深度卷积网络（DCNs）在嵌入式和实时应用中日益增长的计算与存储需求。
• 开发一种系统化方法，将预训练的浮点DCN转换为定点模型而无需重新训练，从而实现在资源受限硬件上的高效部署。
• 优化DCN各层之间的位宽分配，以最小化模型尺寸，同时保持分类精度。
• 验证基于SQNR的位宽分配优于统一位宽方案，并能通过微调进一步提升精度。

提出的方法

• 建立一个优化问题，以最小化模型尺寸为目标，同时允许最大可接受的精度下降，使用SQNR作为量化噪声的关键度量指标。
• 基于权重和激活的位宽以及量化效率（κ）推导出理论SQNR表达式，从而实现对各层量化噪声的预测。
• 采用跨层位宽优化策略，根据SQNR预测结果，为敏感度较低的层分配更少的位数，为关键层分配更多的位数。
• 通过离线分析计算层间位宽关系，避免穷举搜索，从而实现高效且可扩展的部署。
• 通过在多个层上进行实测验证SQNR预测，结果显示趋势一致，尽管存在轻微数值偏差。
• 在量化后进行微调，以进一步提升精度，利用量化噪声的正则化效应。

实验结果

研究问题

• RQ1 基于SQNR的位宽分配是否能在不损失精度的前提下，优于统一位宽的量化方案，实现更大的模型尺寸缩减？
• RQ2 所提出的优化方法在保持标准基准测试分类精度的同时，对模型尺寸的缩减效果如何？
• RQ3 在定点转换后进行微调，是否能将精度进一步提升至超过原始浮点模型的水平？
• RQ4 该方法在不同网络架构（如CIFAR-10和AlexNet类网络）上的泛化能力如何？

主要发现

• 所提出的基于SQNR的位宽优化方法在CIFAR-10基准上实现了超过20%的模型尺寸缩减，且与等位宽设置相比无任何精度损失。
• 该方法在CIFAR-10上实现了新的最先进定点错误率6.78%，在微调后超越了原始浮点模型的性能。
• 量化后微调显著提升了精度，其中（float, 8b）配置达到6.78%错误率，低于原始浮点模型的6.98%。
• 理论SQNR预测值与实测值在趋势上高度一致，尽管存在轻微数值偏差，验证了模型的可靠性。
• 当模型尺寸主要由卷积层主导时，该优化方法效果最佳；当其他组件（如全连接层）占主导时，效果较弱。
• 该方法可实现高效、离线的任意预训练DCN到定点模型的转换，适用于嵌入式部署，且无需访问训练数据或框架。