[论文解读] Deep Learning Training on the Edge with Low-Precision Posits

Hamed F. Langroudi, Zachariah Carmichael+1 more|arXiv (Cornell University)|Jul 30, 2019

Image Processing and 3D Reconstruction参考文献 30被引用 9

一句话总结

该论文提出在边缘设备上使用低精度进位数（posits）训练深度神经网络（DNNs），并证明16位进位数在MNIST和Fashion-MNIST分类任务中均优于16位浮点数。该方法利用进位数的锥形精度特性，在硬件复杂度极低的情况下提升了DNN训练的准确率和能效，使用16位进位数在MNIST上达到96.535%的准确率，在Fashion-MNIST上达到87.400%，较16位浮点数分别提升超过5%。

ABSTRACT

Recently, the posit numerical format has shown promise for DNN data representation and compute with ultra-low precision ([5..8]-bit). However, majority of studies focus only on DNN inference. In this work, we propose DNN training using posits and compare with the floating point training. We evaluate on both MNIST and Fashion MNIST corpuses, where 16-bit posits outperform 16-bit floating point for end-to-end DNN training.

研究动机与目标

• 解决在内存、带宽和能源受限的边缘设备上训练深度神经网络的挑战。
• 评估进位数数值格式（尤其是低精度）在端到端DNN训练中的有效性，而不仅限于推理阶段。
• 在小型图像分类任务中，比较16位和32位进位数与其浮点数对应格式在准确率和效率方面的表现。
• 证明进位数可在无需复杂累加精度或损失缩放的情况下，实现更优性能，且硬件成本更低。
• 探索在不进行详尽参数分析或损失缩放的前提下，使用16位进位数表示所有DNN参数的可行性。

提出的方法

• 作者在Keras和TensorFlow中实现了一个软件模拟框架，以支持DNN训练中的16位和32位进位数算术运算。
• 在MNIST和Fashion-MNIST数据集上，采用标准的三层全连接前馈神经网络架构进行评估。
• 使用四舍五入到最近的舍入策略，将进位数格式应用于权重、激活值和梯度，避免使用复杂的随机舍入或损失缩放。
• 框架支持进位数和浮点数的16位和32位精度，实现直接对比。
• 训练过程使用标准的反向传播算法与Adam优化器，其中beta1和beta2设为标准值。
• 通过位级操作实现进位数数值格式，根据输入数值大小动态编码指数域和阶码域。

实验结果

研究问题

• RQ1 低精度进位数（16位）是否能在边缘设备上的端到端DNN训练中实现与16位浮点数相当或更优的准确率？
• RQ2 与固定精度格式相比，进位数的锥形精度特性是否能提升DNN训练的准确率和能效？
• RQ3 16位进位数是否可在无需损失缩放或复杂累加精度的情况下替代32位浮点数用于DNN训练？
• RQ4 在准确率和硬件效率方面，进位数格式相较于其他低精度方法（如BFP、混合精度或定点数）表现如何？
• RQ5 对于16位进位数训练，四舍五入到最近的舍入策略是否足够，还是必须使用随机舍入？

主要发现

• 在MNIST上，16位进位数达到96.535%的测试准确率，优于16位浮点数的90.646%。
• 在Fashion-MNIST上，16位进位数达到87.400%的准确率，超过16位浮点数的81.725%。
• 在MNIST上，32位进位数达到98.131%的准确率，略高于32位浮点数的98.087%。
• 在Fashion-MNIST上，32位进位数达到89.263%的准确率，而32位浮点数为89.105%。
• 进位数相较于浮点数的性能提升在两个数据集和两种精度级别下均保持一致，表明其鲁棒性。
• 结果表明，进位数可在极低硬件复杂度下实现高准确率，仅需四舍五入到最近的舍入策略且无需损失缩放。