[论文解读] BinaryRelax: A Relaxation Approach For Training Deep Neural Networks With Quantized Weights

Penghang Yin, Shuai Zhang+4 more|arXiv (Cornell University)|Jan 19, 2018

Advanced Neural Network Applications参考文献 40被引用 9

一句话总结

BinaryRelax 提出了一种用于训练权重量化深度神经网络的两阶段松弛方法，通过基于 Moreau 包络的连续正则化项，逐步将权重引导至量化值。该方法在 CIFAR 和 ImageNet 上实现了最先进性能，并在优化景观的近似正交性条件下实现了可证明的收敛性。

ABSTRACT

We propose BinaryRelax, a simple two-phase algorithm, for training deep neural networks with quantized weights. The set constraint that characterizes the quantization of weights is not imposed until the late stage of training, and a sequence of \emph{pseudo} quantized weights is maintained. Specifically, we relax the hard constraint into a continuous regularizer via Moreau envelope, which turns out to be the squared Euclidean distance to the set of quantized weights. The pseudo quantized weights are obtained by linearly interpolating between the float weights and their quantizations. A continuation strategy is adopted to push the weights towards the quantized state by gradually increasing the regularization parameter. In the second phase, exact quantization scheme with a small learning rate is invoked to guarantee fully quantized weights. We test BinaryRelax on the benchmark CIFAR and ImageNet color image datasets to demonstrate the superiority of the relaxed quantization approach and the improved accuracy over the state-of-the-art training methods. Finally, we prove the convergence of BinaryRelax under an approximate orthogonality condition.

研究动机与目标

• 为解决使用低精度、量化权重训练深度神经网络时保持高准确率的挑战。
• 克服标准投影随机梯度下降（PSGD）在量化训练中收敛性差和停滞的问题。
• 开发一种方法，在优化过程中松弛硬性量化约束，以实现量化网络的稳定、高准确率训练。
• 在优化景观的合理近似正交性条件下，确保训练过程的收敛性。
• 在 CIFAR 和 ImageNet 等基准数据集上，与现有方法（如 BinaryConnect）相比，展示出更优越的性能。

提出的方法

• 通过 Moreau 包络对硬性量化集合约束进行连续松弛，其等价于到量化权重集合的平方欧几里得距离。
• 通过松弛参数线性插值全精度（浮点）权重与其量化对应物，维护一系列伪量化权重。
• 采用延续策略逐步增大松弛参数，随时间推移将权重驱动至量化状态。
• 在第二阶段，应用小学习率的精确量化，以确保所有权重均被完全量化。
• 算法在标准浮点权重梯度步长与融合浮点权重及其量化版本的加权平均更新之间交替进行。
• 在涉及量化集合中线性子空间夹角与迭代变化相对量的近似正交性条件下，建立了收敛性。

实验结果

研究问题

• RQ1 与直接投影方法相比，量化约束的连续松弛是否能提升低精度 DNN 训练的稳定性和准确性？
• RQ2 两阶段训练策略——先松弛约束，再强制执行精确量化——是否比端到端量化具有更好的泛化性能？
• RQ3 在非凸、非光滑的量化训练背景下，基于松弛的优化方法在何种条件下能收敛到有意义的解？
• RQ4 在标准基准测试中，与 BinaryConnect 等现有量化方法相比，所提方法在准确率和鲁棒性方面表现如何？
• RQ5 Moreau 包络在将硬性量化约束转化为平滑、可微分正则化项中起什么作用？

主要发现

• 与现有量化方法（包括 BinaryConnect）相比，BinaryRelax 在 CIFAR-10 和 ImageNet 上实现了最先进验证准确率。
• 该方法在深层网络上持续优于 BinaryConnect，尤其在损失景观更复杂、易陷入虚假局部极小值的场景下。
• 在优化迭代的近似正交性条件下，BinaryRelax 的收敛性在期望下被可证明成立。
• 该算法表现出改进的训练稳定性，并避免了在小学习率下投影随机梯度下降常见的停滞问题。
• 采用逐步增大松弛参数的延续策略，能有效将权重引导至量化集合，同时不损害收敛性。
• 最后阶段采用小学习率的精确量化，确保所有权重均被完全量化，从而实现在低功耗设备上的高效推理。