[论文解读] Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers

Xishan Zhang, Shaoli Liu+9 more|arXiv (Cornell University)|Nov 1, 2019

Advanced Neural Network Applications参考文献 35被引用 5

一句话总结

本文提出了一种自适应精度训练方法，通过定点数算术对深度神经网络中的反向传播进行量化，动态调整各层的位宽，以在精度与效率之间取得平衡。该方法在实现接近理想模型精度的同时，相较于全精度训练，实现了最高4.5倍的加速和3.5倍的内存减少。

ABSTRACT

Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers. Recent emerged quantization technique has been applied to inference of deep neural networks for fast and efficient execution. However, directly applying quantization in training can cause significant accuracy loss, thus remaining an open challenge.

研究动机与目标

• 解决将量化应用于深度神经网络训练时通常导致显著精度下降的挑战。
• 克服现有量化方法仅关注推理阶段的局限，实现反向传播阶段的量化。
• 开发一种在训练过程中保持高模型精度的同时降低计算与内存成本的方法。
• 在不牺牲模型性能的前提下，实现使用定点数算术的深度神经网络高效训练。

提出的方法

• 提出一种动态位宽分配策略，根据梯度敏感性和激活统计特性，为不同层分配不同的精度级别。
• 使用定点数算术对反向传播过程进行量化，以整数运算替代浮点运算，提升效率。
• 应用梯度裁剪与缩放技术，以在低精度计算下稳定训练过程。
• 采用可微分的量化函数，使梯度能够在反向传播过程中通过量化操作流动。
• 将量化后的反向传播集成到标准优化流程中，实现端到端训练，且对网络架构改动极小。
• 利用基于损失感知的自适应机制，在训练过程中优化精度调度，实时监控梯度方差与模型精度。

实验结果

研究问题

• RQ1 能否在不造成显著精度损失的前提下，使用定点数算术有效量化深度神经网络中的反向传播？
• RQ2 在不同层之间动态分配位宽如何影响模型精度与训练效率？
• RQ3 在端到端训练中，精度降低与模型性能之间的权衡关系如何？
• RQ4 所提出的方法是否能在降低内存与计算成本的同时，实现与全精度训练相当的精度？

主要发现

• 在使用ResNet-50模型对ImageNet数据集进行训练时，该方法在采用8位定点数算术的情况下，模型精度与全精度训练相比仅相差0.5%以内。
• 由于算术复杂度降低与内存带宽使用减少，该方法在GPU平台上实现了最高4.5倍的训练加速。
• 通过量化梯度与激活值，该方法在训练过程中的内存消耗相比全精度训练最高减少了3.5倍。
• 在多个模型与数据集上，自适应精度策略的表现优于静态量化与统一位宽方法。
• 该方法在多次训练运行中均保持了稳定的收敛性，表明对量化噪声具有良好的鲁棒性。
• 结合缩放与裁剪的梯度量化方法有效保持了权重更新的方向与大小，最大限度减少了优化漂移。