[论文解读] Effective Training of Convolutional Neural Networks with Low-bitwidth Weights and Activations

Bohan Zhuang, Jing Liu+4 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Neural Network Applications参考文献 91被引用 9

一句话总结

本文提出了三种新颖的训练策略——渐进式量化、随机精度和联合知识蒸馏，以有效训练权重和激活均为低比特宽度的卷积神经网络。通过渐进地量化权重，随后量化激活，采用单阶段随机量化以减少训练开销，并联合训练一个全精度教师网络与一个低精度学生网络，该方法在 ImageNet 和 CIFAR-100 上实现了 SOTA 准确率，使用 2 比特权重和激活，相比基线模型最高实现 3.06% 的相对误差降低。

ABSTRACT

This paper tackles the problem of training a deep convolutional neural network of both low-bitwidth weights and activations. Optimizing a low-precision network is very challenging due to the non-differentiability of the quantizer, which may result in substantial accuracy loss. To address this, we propose three practical approaches, including (i) progressive quantization; (ii) stochastic precision; and (iii) joint knowledge distillation to improve the network training. First, for progressive quantization, we propose two schemes to progressively find good local minima. Specifically, we propose to first optimize a net with quantized weights and subsequently quantize activations. This is in contrast to the traditional methods which optimize them simultaneously. Furthermore, we propose a second progressive quantization scheme which gradually decreases the bit-width from high-precision to low-precision during training. Second, to alleviate the excessive training burden due to the multi-round training stages, we further propose a one-stage stochastic precision strategy to randomly sample and quantize sub-networks while keeping other parts in full-precision. Finally, we adopt a novel learning scheme to jointly train a full-precision model alongside the low-precision one. By doing so, the full-precision model provides hints to guide the low-precision model training and significantly improves the performance of the low-precision network. Extensive experiments on various datasets (e.g., CIFAR-100, ImageNet) show the effectiveness of the proposed methods.

研究动机与目标

• 为解决同时使用低比特宽度权重和激活训练深度 CNN 所面临的挑战，该挑战源于量化操作的不可微性。
• 在保持性能增益的同时，降低多阶段渐进式量化带来的训练负担。
• 通过利用全精度教师网络的知识蒸馏，提升低精度网络的性能。
• 联合优化教师和学生网络，实现在训练过程中相互促进。
• 开发一种通用且高效的训练框架，适用于多种网络架构和比特宽度。

提出的方法

• 提出一种两阶段渐进式量化方案：先仅用量化权重进行训练，再通过量化激活进行微调。
• 引入第二种渐进式量化方案，即在训练过程中逐步将比特宽度从全精度降低至目标低精度。
• 开发一种单阶段随机精度策略，随机采样并量化子网络（如层或模块），其余部分保持全精度，通过类似 Dropout 的方式改善梯度流动。
• 引入联合知识蒸馏，将全精度教师网络与低精度学生网络联合训练，通过最小化 logits 或特征图上的损失，使教师指导学生。
• 使用联合训练目标，结合标签上的交叉熵损失与教师和学生输出之间的知识蒸馏损失。
• 将三种组件——渐进式量化、随机精度和联合知识蒸馏——整合为统一的训练框架，以实现最大性能提升。

实验结果

研究问题

• RQ1 通过解耦权重和激活的量化，渐进式量化是否能带来更好的优化效果并提升低比特宽度 CNN 的准确率？
• RQ2 单阶段随机精度策略是否能有效降低训练复杂度，同时保持渐进式量化带来的性能增益？
• RQ3 联合训练全精度教师与低精度学生是否能超越标准知识蒸馏，进一步提升学生模型的准确率？
• RQ4 当三种方法组合时，它们之间的相互作用如何？在 ImageNet 和 CIFAR-100 等标准基准上，最大性能增益是多少？
• RQ5 所提出的框架是否在不同网络架构（如 ResNet、PreResNet、AlexNet）和比特宽度（如 2 比特、4 比特）上具有可泛化性？

主要发现

• 在 ImageNet 上使用 ResNet-50 和 2 比特权重与激活，所提方法实现了 72.40% 的 Top-1 准确率，相比基线模型相对提升 3.06%。
• 对于 ResNet-50 使用 2W, 2A 的设置，该方法实现了 72.40% 的 Top-1 准确率，相比基线模型提升 3.06%，相比 DoReFa-Net 基线模型在 Top-1 错误率上降低 2.39%。
• 在 CIFAR-100 上使用 AlexNet 和 2W, 2A，结合 SP 和 KD 的方法实现了 65.23% 的 Top-1 准确率，相比基线提升 1.34%。
• 在 ImageNet 上使用 AlexNet 和 2W, 2A，结合 TS、PP 和 KD 的方法实现了 51.96% 的 Top-1 准确率，相比基线提升 3.17%。
• 联合知识蒸馏策略同时提升了全精度教师网络和低精度学生网络的性能，体现了相互受益的效果。
• 将渐进式量化、随机精度和联合知识蒸馏三种组件全部结合，可在所有数据集和网络架构上实现最高性能。