[论文解读] Low precision arithmetic for deep learning

Matthieu Courbariaux, Yoshua Bengio+1 more|arXiv (Cornell University)|Jan 1, 2014

Neural Networks and Applications被引用 87

一句话总结

本文研究了使用低精度算术（包括浮点数、定点数和动态定点数格式）训练深度神经网络的可行性。结果表明，使用10位精度处理激活值和梯度，12位精度处理参数更新，在MNIST、CIFAR10和SVHN数据集上采用Maxout网络可实现接近最先进水平的性能，表明低精度计算足以支持训练和推理。

ABSTRACT

We simulate the training of a set of state of the art neural networks, the Maxout networks (Goodfellow et al., 2013a), on three benchmark datasets: the MNIST, CIFAR10 and SVHN, with three distinct arithmetics: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those arithmetics, we assess the impact of the precision of the computations on the final error of the training. We find that very low precision computation is sufficient not just for running trained networks but also for training them. For example, almost state-of-the-art results were obtained on most datasets with 10 bits for computing activations and gradients, and 12 bits for storing updated parameters.

研究动机与目标

• 评估低精度算术对最先进深度神经网络训练的影响。
• 确定在不造成显著精度损失的前提下，训练和推理所需的最低精度。
• 比较浮点数、定点数和动态定点数算术在低精度设置下的性能表现。
• 识别在多个基准数据集上维持具有竞争力测试误差率的精度阈值。

提出的方法

• 使用三种算术类型（浮点数、定点数和动态定点数）对MNIST、CIFAR10和SVHN数据集上的Maxout网络进行模拟训练。
• 在多个位宽配置下调整计算（激活值和梯度）与参数存储的精度。
• 通过训练后的最终测试误差来衡量精度对模型性能的影响。
• 在所有精度设置下使用一致的训练超参数，以隔离数值精度的影响。
• 评估了计算和参数存储精度在8至16位之间的各种水平。
• 采用动态定点数算术，在计算过程中动态调整小数点位置，以提高精度效率。

实验结果

研究问题

• RQ1 训练深度神经网络所需的最低精度是多少才能保证可接受的精度？
• RQ2 低精度算术对标准基准数据集上最终测试误差的影响如何？
• RQ3 定点数或动态定点数算术能否实现与全精度浮点数训练相当的性能？
• RQ4 在何种位宽下，精度与计算效率之间的权衡对训练变得有利？
• RQ5 所需精度是否因数据集（如MNIST、CIFAR10和SVHN）的不同而有所变化？

主要发现

• 使用10位精度处理激活值和梯度，在所有三个数据集上均实现了接近最先进水平的性能。
• 使用12位精度存储参数更新，足以维持高模型精度。
• 极低精度的算术（包括定点数和动态定点数）使训练过程仅造成极小的最终测试误差损失。
• 结果表明，可在不损害模型性能的前提下显著降低精度。
• 低精度训练的性能在MNIST、CIFAR10和SVHN上保持一致，表明其具有广泛适用性。
• 动态定点数算术在低精度训练中提供了精度与效率之间的实用平衡。