[论文解读] BinaryConnect: Training Deep Neural Networks with binary weights during propagations

Matthieu Courbariaux, Yoshua Bengio+1 more|PolyPublie (École Polytechnique de Montréal)|Nov 2, 2015

Advanced Neural Network Applications参考文献 44被引用 1,829

一句话总结

BinaryConnect 在前向传播和反向传播过程中使用二值化权重（+1 或 -1）训练深度神经网络，同时使用高精度权重进行梯度累积。该方法在 MNIST、CIFAR-10 和 SVHN 上实现了接近最先进水平的准确率，表明使用高精度梯度更新的二值化权重可实现高效训练，适用于专用硬件且精度损失极小。

ABSTRACT

Deep Neural Networks (DNN) have achieved state-of-the-art results in a wide range of tasks, with the best results obtained with large training sets and large models. In the past, GPUs enabled these breakthroughs because of their greater computational speed. In the future, faster computation at both training and test time is likely to be crucial for further progress and for consumer applications on low-power devices. As a result, there is much interest in research and development of dedicated hardware for Deep Learning (DL). Binary weights, i.e., weights which are constrained to only two possible values (e.g. -1 or 1), would bring great benefits to specialized DL hardware by replacing many multiply-accumulate operations by simple accumulations, as multipliers are the most space and power-hungry components of the digital implementation of neural networks. We introduce BinaryConnect, a method which consists in training a DNN with binary weights during the forward and backward propagations, while retaining precision of the stored weights in which gradients are accumulated. Like other dropout schemes, we show that BinaryConnect acts as regularizer and we obtain near state-of-the-art results with BinaryConnect on the permutation-invariant MNIST, CIFAR-10 and SVHN.

研究动机与目标

• 通过在前向传播和反向传播过程中使用二值化权重，实现在低功耗设备上的高效训练与推理。
• 通过将乘加运算替换为简单加法，降低计算复杂度和硬件成本。
• 通过高精度梯度累积，在二值化权重约束下保持高模型准确率。
• 探究二值化权重是否起到正则化作用，从而提升深度网络的泛化能力。
• 证明在传播过程中无需全精度权重更新，即可实现二值化权重的训练，且适用于标准视觉基准数据集。

提出的方法

• BinaryConnect 在前向传播和反向传播过程中将权重限制为 ±1，将乘加运算替换为加法运算。
• 使用随机梯度下降法更新实际存储的实数值权重，梯度以高精度形式累积。
• 通过确定性符号函数执行二值化：w_b = sign(w)，其中 w 为实数值权重。
• 该方法利用随机梯度下降对噪声的容忍性，使权重离散化起到正则化作用。
• 使用二值化权重计算梯度并反向传播，但实际存储的权重使用全精度梯度进行更新。
• 该方法与批量归一化及 ADAM 等优化器兼容，并使用 Theano 和 Pylearn2 实现。

实验结果

研究问题

• RQ1 是否可以仅在前向传播和反向传播过程中使用二值化权重，有效训练深度神经网络？
• RQ2 在推理和反向传播过程中使用二值化权重是否起到正则化作用，从而改善泛化性能？
• RQ3 当用二值化加法替代全精度乘加运算时，模型准确率能保留到何种程度？
• RQ4 与三值权重或期望反向传播等其他量化方法相比，BinaryConnect 在准确率和硬件效率方面表现如何？
• RQ5 该方法能否扩展至卷积网络及更大规模数据集（如 CIFAR-10 和 SVHN），而不会导致性能显著下降？

主要发现

• BinaryConnect 在排列不变 MNIST 上达到 1.44% 的测试误差率，接近最先进水平。
• 在 CIFAR-10 上，BinaryConnect 实现 12.0% 的测试误差率，为二值化权重方法中的接近最先进水平。
• 在 SVHN 上，该方法实现 11.7% 的测试误差率，表明在更复杂数据集上也表现出色。
• 训练过程中乘法运算数量减少约三分之二，显著提升计算效率。
• 在传播过程中使用二值化权重，并结合高精度存储权重，可实现稳定训练和良好泛化性能。
• 该方法与标准深度学习技术（如批量归一化、ReLU 激活函数和 ADAM 优化）兼容。