[论文解读] Low precision storage for deep learning

Matthieu Courbariaux, Yoshua Bengio+1 more|arXiv (Cornell University)|Dec 22, 2014

Advanced Neural Network Applications参考文献 23被引用 134

一句话总结

本文研究了低精度存储格式——浮点数、定点数和动态定点数——在MNIST、CIFAR10和SVHN数据集上训练和部署Maxout神经网络的效果。结果表明，10位精度足以存储激活值和梯度，12位精度足以存储参数，同时保持最先进性能，实现高效模型存储与推理，且精度损失可忽略不计。

ABSTRACT

We train a set of state of the art neural networks, the Maxout networks (Goodfellow et al., 2013a), on three benchmark datasets: the MNIST, CIFAR10 and SVHN, with three distinct storing formats: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those formats, we assess the impact of the precision of the storage on the final error of the training. We find that very low precision storage is sufficient not just for running trained networks but also for training them. For example, Maxout networks state-of-the-art results are nearly maintained with 10 bits for storing activations and gradients, and 12 bits for storing parameters.

研究动机与目标

• 评估低精度存储格式对深度学习模型训练与推理的影响。
• 确定在不显著降低精度的前提下，存储激活值、梯度和参数所需的最低精度。
• 比较定点数与动态定点数格式与标准浮点数表示在模型性能方面的差异。
• 识别在标准基准数据集上保持最先进结果的精度阈值。

提出的方法

• 在MNIST、CIFAR10和SVHN数据集上使用三种存储格式（浮点数、定点数、动态定点数）训练Maxout网络。
• 在多个实验中系统性地改变用于存储激活值、梯度和参数的位精度。
• 采用标准训练流程，使用随机梯度下降，同时将权重、激活值和梯度的存储限制在指定精度格式内。
• 通过训练后的最终测试误差来衡量精度对模型性能的影响。
• 采用动态定点数表示，根据激活值范围自适应调整小数点位置，从而提高精度效率。

实验结果

研究问题

• RQ1 在训练过程中，存储激活值和梯度所需的最低精度是多少，才能不降低模型精度？
• RQ2 与浮点数相比，定点数存储在基准数据集上维持最先进性能的表现如何？
• RQ3 与标准定点数格式相比，动态定点数表示能否提升精度效率？
• RQ4 在何种位宽下，模型在参数、激活值和梯度存储上的性能损失可忽略不计？

主要发现

• 使用仅10位精度存储激活值和梯度，Maxout网络即可实现接近最先进性能。
• 在所有数据集上，参数以12位精度存储时，仍能保持接近最优的测试精度。
• 采用动态定点数表示可实现更优的精度管理，且无需增加位宽。
• 在几乎不影响模型精度的前提下，可显著降低存储需求，尤其在激活值和梯度方面效果显著。