[论文解读] Towards Lower Bit Multiplication for Convolutional Neural Network Training.

Kai Zhong, Tianchen Zhao+5 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 14被引用 7

一句话总结

本文提出了一种用于CNN的定点训练框架，将CIFAR-10的卷积乘法位宽降低至2位，ImageNet降低至6位，同时保持最小的精度损失。该框架采用受限的分组缩放方法，使用可移位的定点格式以平衡溢出与舍入误差，并采用双精度部署技术，在训练中实现了至少75%的能效降低。

ABSTRACT

Convolutional Neural Networks (CNNs) have been widely used in many fields. However, the training process costs much energy and time, in which the convolution operations consume the major part. In this paper, we propose a fixed-point training framework, in order to reduce the data bit-width for the convolution multiplications. Firstly, we propose two constrained group-wise scaling methods that can be implemented with low hardware cost. Secondly, to overcome the challenge of trading off overflow and rounding error, a shiftable fixed-point data format is used in this framework. Finally, we propose a double-width deployment technique to boost inference performance with the same bit-width hardware multiplier. The experimental results show that the input data of convolution in the training process can be quantized to 2-bit for CIFAR-10 dataset, 6-bit for ImageNet dataset, with negligible accuracy degradation. Furthermore, our fixed-point train-ing framework has the potential to save at least 75% energy of the computation in the training process.

研究动机与目标

• 将CNN卷积运算中输入数据的比特位宽在训练过程中降低，以提升能效。
• 解决低比特定点表示中溢出与量化舍入误差之间的权衡问题。
• 设计一种与现有低比特宽乘法器兼容的硬件高效定点训练框架。
• 通过双精度部署技术，在相同比特位宽硬件条件下实现高性能推理。

提出的方法

• 提出两种受限的分组缩放方法，以实现定点训练中的低硬件成本。
• 采用可移位的定点数据格式，动态管理溢出与舍入误差之间的权衡。
• 应用双精度部署技术，提升推理速度，而无需增加硬件的比特位宽要求。
• 使用感知量化训练方法，分别对CIFAR-10和ImageNet采用2比特和6比特输入，以保持模型精度。
• 设计框架以兼容标准低比特宽乘法器，支持高效硬件部署。
• 优化训练过程，在极端比特位宽约束下最小化精度退化。

实验结果

研究问题

• RQ1 是否可以在CIFAR-10上实现低至2比特输入精度的卷积神经网络训练，且精度损失可忽略？
• RQ2 在超低比特定点表示中，如何有效平衡溢出与量化误差？
• RQ3 可采用哪些硬件高效的技巧来实现定点训练在真实场景中的可扩展部署？
• RQ4 双精度部署技术是否能在相同比特位宽硬件约束下提升推理性能？
• RQ5 通过比特位宽降低与定点优化，CNN训练中的能耗可降低到何种程度？

主要发现

• 该框架实现了CIFAR-10的2比特输入量化，且精度损失可忽略不计。
• 对于ImageNet，6比特输入精度足以支持训练，且精度损失极小。
• 可移位的定点格式有效缓解了溢出与舍入误差之间的权衡问题。
• 双精度部署技术在不增加乘法器宽度的前提下提升了推理性能。
• 所提出的框架在CNN训练计算中至少降低了75%的能耗。