[论文解读] Accumulation Bit-Width Scaling For Ultra-Low Precision Training Of Deep Networks

Charbel Sakr, Naigang Wang+5 more|arXiv (Cornell University)|Jan 19, 2019

Advanced Neural Network Applications被引用 13

一句话总结

本文提出一种统计方法，通过基于方差的边界推导自部分和分布，以解析方式确定深度神经网络超低精度训练所需的最小累积位宽。该方法可在不降低性能的前提下，精确调节累加器精度，从而在FPU硬件中实现高达2.2倍的面积与功耗降低，实现收敛至全精度基线模型。

ABSTRACT

Efforts to reduce the numerical precision of computations in deep learning training have yielded systems that aggressively quantize weights and activations, yet employ wide high-precision accumulators for partial sums in inner-product operations to preserve the quality of convergence. The absence of any framework to analyze the precision requirements of partial sum accumulations results in conservative design choices. This imposes an upper-bound on the reduction of complexity of multiply-accumulate units. We present a statistical approach to analyze the impact of reduced accumulation precision on deep learning training. Observing that a bad choice for accumulation precision results in loss of information that manifests itself as a reduction in variance in an ensemble of partial sums, we derive a set of equations that relate this variance to the length of accumulation and the minimum number of bits needed for accumulation. We apply our analysis to three benchmark networks: CIFAR-10 ResNet 32, ImageNet ResNet 18 and ImageNet AlexNet. In each case, with accumulation precision set in accordance with our proposed equations, the networks successfully converge to the single precision floating-point baseline. We also show that reducing accumulation precision further degrades the quality of the trained network, proving that our equations produce tight bounds. Overall this analysis enables precise tailoring of computation hardware to the application, yielding area- and power-optimal systems.

研究动机与目标

• 解决当前缺乏理论框架以确定低精度深度学习训练中最佳累积精度的问题。
• 克服实践中保守使用32位累加器的现状，尽管权重和激活值精度已降低，但硬件效率仍受限。
• 提供一种精确、基于解析推导的累积位宽设置方法，避免使用蛮力仿真或启发式设计。
• 验证所提出的精度边界是否紧密且不过于保守，确保能够收敛至全精度基线。
• 通过准确预测最小所需精度，实现面向硬件优化的、面积与功耗高效的FPU设计，用于低精度DNN训练。

提出的方法

• 推导出一个统计模型，将GEMM运算中部分和的方差与累积位宽及序列长度关联起来。
• 引入方差缩减比（VRR）指标，量化因累积精度降低而导致的信息损失。
• 利用VRR计算为使方差损失保持在可接受范围内的最小位宽。
• 将推导出的公式应用于三个基准网络：CIFAR-10 ResNet-32、ImageNet ResNet-18和ImageNet AlexNet。
• 通过精度扰动（PP）训练实验验证预测结果，将收敛性与全精度基线进行比较。
• 同时考虑常规与分块累积方案，以评估精度预测的敏感性与鲁棒性。

实验结果

研究问题

• RQ1 在超低精度DNN训练中，为保持收敛保真度，所需的最小累积位宽是多少？
• RQ2 累积精度降低如何影响部分和的方差，进而影响模型收敛性？
• RQ3 基于方差动态的统计模型能否在无需经验试错的情况下，准确预测稳定训练所需的最小精度？
• RQ4 所推导的精度边界有多紧密——进一步降低精度是否会在预测阈值之后导致性能下降？
• RQ5 与启发式或蛮力设计方法相比，该方法在硬件优化的DNN训练中是否展现出更高的鲁棒性与准确性？

主要发现

• 所提方法成功预测了在所有三个基准网络中，使模型收敛至全精度基线0.5%以内的累积位宽。
• 当累积精度低于预测最小值（PP < 0）时，准确率显著下降，证实了所推导边界的紧密性。
• ImageNet ResNet-18对精度降低最为敏感，当精度降低1比特时，准确率下降超过0.5%。
• ImageNet AlexNet对精度扰动表现出更强的鲁棒性，可能归因于其过参数化结构，但仍遵循精度越低、性能下降越明显的趋势。
• 分块累积比常规累积对精度降低更敏感，因为相同的位宽减少在低精度分配中代表更大的相对变化。
• 该方法通过消除过度配置的累积精度，使FPU硬件面积最大降低2.2倍，显著提升了硬件效率。