[论文解读] Binarized Neural Networks

Itay Hubara, Daniel Soudry+1 more|arXiv (Cornell University)|Feb 8, 2016

Advanced Neural Network Applications被引用 919

一句话总结

论文使用二值权重和二值激活来训练二值神经网络，在MNIST、CIFAR-10和SVHN上取得接近最新结果的表现，同时大幅减少内存/计算，并通过一个二值GEMM内核实现MNIST的7x加速。

ABSTRACT

We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time and when computing the parameters' gradient at train-time. We conduct two sets of experiments, each based on a different framework, namely Torch7 and Theano, where we train BNNs on MNIST, CIFAR-10 and SVHN, and achieve nearly state-of-the-art results. During the forward pass, BNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations, which might lead to a great increase in power-efficiency. Last but not least, we wrote a binary matrix multiplication GPU kernel with which it is possible to run our MNIST BNN 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The code for training and running our BNNs is available.

研究动机与目标

• 通过将权重和激活二值化来激励减少神经网络的内存使用和功耗。
• 研究在训练时梯度计算和运行时二值化以实现高效学习。
• 在不同框架下在标准基准数据集（MNIST、CIFAR-10、SVHN）评估BNN。
• 提供经过优化的二进制矩阵乘法内核以加速推断/训练。

提出的方法

• 在前向传播和训练时梯度计算中将权重和激活表示为二值值。
• 使用两个框架（Torch7 和 Theano）进行训练，以验证框架无关性能。
• 在MNIST、CIFAR-10和SVHN上评估分类准确性和效率。
• 开发一个二进制矩阵乘法GPU内核以加速计算，在MNIST上实现7x加速的示范。
• 将BNN的训练和运行时代码公开可用。

实验结果

研究问题

• RQ1 二值化神经网络是否能在标准基准（MNIST、CIFAR-10、SVHN）上达到与全精度模型相竞争的准确度？
• RQ2 在前向传播和训练过程中，二值权重/激活在多大程度上减少内存占用和算术运算？
• RQ3 在实际工作负载（如MNIST）中，使用二进制矩阵乘法内核能实现多少加速而不牺牲准确性？
• RQ4 结果是否在不同深度学习框架（Torch7、Theano）之间保持一致？

主要发现

• BNNs 在 MNIST、CIFAR-10 和 SVHN 上取得几近 state-of-the-art 的结果。
• BNN 的前向传播大幅减少内存使用，并依赖位运算替代大部分算术。
• 二进制矩阵乘法GPU内核在不损失准确性的情况下实现显著加速（MNIST 为 7x）。
• 作者提供了训练和运行时代码以便重复性研究和进一步研究。