[论文解读] ACIQ: Analytical Clipping for Integer Quantization of neural networks

Ron Banner, Yury Nahshan+2 more|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques参考文献 16被引用 82

一句话总结

该论文提出ACIQ，一种针对神经网络整数量化在张量层面的解析剪裁方法，通过优化剪裁值来最小化量化噪声和剪裁失真。通过推导剪裁引起的退化在均方误差上的精确表达式，ACIQ在无需微调或完整数据集访问的情况下，使4-bit VGG16-BN的准确率提升超过40%。

ABSTRACT

Unlike traditional approaches that focus on the quantization at the network level, in this work we propose to minimize the quantization effect at the tensor level. We analyze the trade-off between quantization noise and clipping distortion in low precision networks. We identify the statistics of various tensors, and derive exact expressions for the mean-square-error degradation due to clipping. By optimizing these expressions, we show marked improvements over standard quantization schemes that normally avoid clipping. For example, just by choosing the accurate clipping values, more than 40\% accuracy improvement is obtained for the quantization of VGG16-BN to 4-bits of precision. Our results have many applications for the quantization of neural networks at both training and inference time. One immediate application is for a rapid deployment of neural networks to low-precision accelerators without time-consuming fine tuning or the availability of the full datasets.

研究动机与目标

• 解决低精度神经网络中量化噪声与剪裁失真之间的权衡问题。
• 在张量层面最小化整数量化中由剪裁引起的均方误差退化。
• 开发一种方法，在无需完整训练数据集或耗时微调的情况下提升量化精度。
• 通过优化剪裁值，实现在边缘加速器上低精度模型的快速部署。

提出的方法

• 分析各层激活张量的统计特性，以指导剪裁决策。
• 推导低精度量化中由剪裁引起的均方误差退化的精确解析表达式。
• 通过最小化推导出的均方误差表达式，在张量层面优化剪裁值。
• 在训练和推理过程中应用优化后的剪裁值，以提升量化精度。
• 利用推导出的表达式避免标准量化方案中常见的启发式剪裁选择。

实验结果

研究问题

• RQ1 剪裁失真在低精度量化神经网络中如何导致准确率下降？
• RQ2 与标准方法相比，剪裁值的解析优化是否能更有效地降低量化误差？
• RQ3 在不进行微调的情况下，精确剪裁能在多大程度上提升4-bit量化准确率？
• RQ4 所提出的方法是否能实现低精度加速器上量化模型的快速部署？

主要发现

• 通过解析表达式优化剪裁值，可降低低精度量化中的均方误差退化。
• 与标准剪裁相比，使用最优剪裁值使4-bit量化VGG16-BN的准确率提升超过40%。
• 该方法无需完整训练数据集或迭代微调，即可实现高精度量化。
• 该方法适用于训练和推理阶段，支持在低精度硬件上实现快速部署。