[论文解读] Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks

Darryl Dexu Lin, Sachin S. Talathi|arXiv (Cornell University)|Jul 8, 2016

Model Reduction and Neural Networks参考文献 8被引用 29

一句话总结

本文将定点训练深度卷积网络时的不稳定性归因于低精度激活值引起的梯度不匹配。提出三种互补技术——在微调后使用定点激活进行训练、仅微调顶层、以及迭代式自底向上的微调——显著提升了收敛性和准确性，实现了4位激活/权重网络在ImageNet上25.3%的Top-5错误率，某些情况下优于浮点基线模型。

ABSTRACT

It is known that training deep neural networks, in particular, deep convolutional networks, with aggressively reduced numerical precision is challenging. The stochastic gradient descent algorithm becomes unstable in the presence of noisy gradient updates resulting from arithmetic with limited numeric precision. One of the well-accepted solutions facilitating the training of low precision fixed point networks is stochastic rounding. However, to the best of our knowledge, the source of the instability in training neural networks with noisy gradient updates has not been well investigated. This work is an attempt to draw a theoretical connection between low numerical precision and training algorithm stability. In doing so, we will also propose and verify through experiments methods that are able to improve the training performance of deep convolutional networks in fixed point.

研究动机与目标

• 探究低精度定点训练深度卷积网络时训练不稳定的理论根源。
• 识别出低精度激活值而非权重是梯度不匹配和不稳定的主因。
• 提出实用且互补的技术，以稳定定点微调训练并提升收敛性。
• 在无需大量超参数调优的情况下，于ImageNet分类任务上验证这些方法的有效性。
• 为理解量化引起的不可微激活函数如何破坏反向传播提供理论基础。

提出的方法

• 分析定点网络中假设的可微分激活函数（如ReLU）与实际不可微的量化函数之间的差异。
• 将梯度不匹配问题形式化为由于量化激活导致在反向传播中使用了错误的导数。
• 提出方案1：使用定点激活对预训练的浮点网络进行微调，同时保持权重为定点格式。
• 提出方案2：在固定底层网络后，仅微调顶层全连接层，以减少梯度误差累积。
• 提出方案3：从底层到顶层逐层进行迭代式微调，确保每一阶段都能准确计算梯度。
• 以ImageNet分类为基准，评估所有方法在相同条件下的表现，实验中未使用随机舍入。

实验结果

研究问题

• RQ1 为何使用低精度定点激活训练深度卷积网络会导致不稳定和发散？
• RQ2 在定点训练中，梯度不匹配的主要来源是权重还是激活值？它如何影响反向传播？
• RQ3 在反向传播过程中，梯度误差的累积如何影响具有低精度激活值的深层网络的收敛性？
• RQ4 迭代式自底向上的微调能否缓解梯度不匹配，并提升训练稳定性和准确性？
• RQ5 在极低位宽（如4位）下，定点网络在多大程度上能实现与全精度基线相当的准确率？

主要发现

• 低精度激活值引入了不可微的有效激活函数，导致根本性的梯度不匹配，从而破坏SGD的稳定性。
• 由于反向传播中误差累积，梯度不匹配问题随网络深度增加而加剧，导致低精度设置下的训练发散。
• 方案1——使用定点激活进行微调——在4位激活和16位权重下实现31.3%的Top-5错误率，显著优于原始微调方法。
• 方案2——仅微调顶层全连接层——将错误率降低至23.3%（4位激活和4位权重），显示出局部优化效果。
• 方案3——迭代式自底向上的微调——取得最佳结果，4位/4位网络的Top-5错误率为25.3%，在某些配置下超越了浮点基线。
• 即使仅进行极简的超参数调优，所提方法在低比特定点网络中仍实现了最先进性能，证明了解决梯度不匹配的有效性。