[论文解读] Bitwise Neural Networks

Minje Kim, Paris Smaragdis|arXiv (Cornell University)|Jan 22, 2016

Neural Networks and Applications参考文献 19被引用 174

一句话总结

本论文提出比特神经网络（BNN），其中所有输入、权重、偏置和激活均为二进制，通过 XNOR 和比特计数实现前馈，训练包括权重压缩和有噪声反向传播；在 MNIST 上用二值特征测试显示具竞争力的准确率并显著降低计算成本。

ABSTRACT

Based on the assumption that there exists a neural network that efficiently represents a set of Boolean functions between all binary inputs and outputs, we propose a process for developing and deploying neural networks whose weight parameters, bias terms, input, and intermediate hidden layer output signals, are all binary-valued, and require only basic bit logic for the feedforward pass. The proposed Bitwise Neural Network (BNN) is especially suitable for resource-constrained environments, since it replaces either floating or fixed-point arithmetic with significantly more efficient bitwise operations. Hence, the BNN requires for less spatial complexity, less memory bandwidth, and less power consumption in hardware. In order to design such networks, we propose to add a few training schemes, such as weight compression and noisy backpropagation, which result in a bitwise network that performs almost as well as its corresponding real-valued network. We test the proposed network on the MNIST dataset, represented using binary features, and show that BNNs result in competitive performance while offering dramatic computational savings.

研究动机与目标

• 嵌入式和设备端应用对高度资源高效神经网络的需求。
• 提出一个全二进制神经网络，所有组件都以位运算运作，使用 XNOR 与比特计数。
• 开发训练策略：权重压缩的实值网络在二值化训练前进行，随后进行带噪声的反向传播。
• 证明 BNNs 在 MNIST 上可以实现具有显著降低计算量的竞争性能。

提出的方法

• 将所有权重、偏置、输入和隐藏输出表示为两极二进制；前馈使用 XNOR 和比特计数代替乘法/加法。
• 使用符号激活以在各层之间保持双极二进制信号。
• 先训练一个实值网络，进行权重压缩以便转换为 BNN。
• 使用二值化权重/信号进行带噪声反向传播训练实际的 BNN，在学习过程中更新对应的实值代理。
• 对输入进行二值化，并在每次更新后重新初始化/二值化权重；对多类 MNIST 评估使用 softmax 输出层。

实验结果

研究问题

• RQ1 在使用权重压缩和带噪声反向传播训练时，完全二进制（比特级）神经网络能否在图像识别任务上达到与实值网络相同的性能？
• RQ2 在 MNIST 的二值特征表示下，比特输入/权重与其实值对应物之间的准确性权衡如何？
• RQ3 比特运算（XNOR 和比特计数）在提供显著计算和内存节省的同时是否能保持准确性？

主要发现

• BNN 在具有二值特征的 MNIST 上实现了有竞争力的分类性能，相对实值网络的精度损失较小。
• 基线实值网络（64 位浮点）在输入为 bipolar 时误差约为 1.17%，在 0/1 输入时为 1.32%，在定点 2 位输入时为 1.36%。
• 使用二值化输入训练的 BNN 的测试误差大约为 1.33%（双极性），1.36%（0/1），1.47%（定点 2 位）。
• 比特方法通过将乘法/加法替换为简单的按位操作，带来显著的计算节省，同时性能下降有限。
• 研究表明，在权重压缩和带噪声反向传播的帮助下，完全二进制网络可以在标准识别任务上有效运行。