[论文解读] Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?

Shilin Zhu, Xin Dong+1 more|arXiv (Cornell University)|Jun 20, 2018

Advanced Neural Network Applications参考文献 56被引用 15

一句话总结

本文提出二值集成神经网络（BENN），一种新颖的架构，通过将二值神经网络（BNNs）与集成方法结合，克服BNN因内在不稳定性与非鲁棒性导致的精度下降问题。通过使用提升或袋装法集成4–6个BNN，BENN在保持低延迟与硬件效率的同时，实现了最先进精度——在相同架构下超越ImageNet上的全精度网络，其计算依赖按位运算。

ABSTRACT

Binary neural networks (BNN) have been studied extensively since they run dramatically faster at lower memory and power consumption than floating-point networks, thanks to the efficiency of bit operations. However, contemporary BNNs whose weights and activations are both single bits suffer from severe accuracy degradation. To understand why, we investigate the representation ability, speed and bias/variance of BNNs through extensive experiments. We conclude that the error of BNNs is predominantly caused by the intrinsic instability (training time) and non-robustness (train & test time). Inspired by this investigation, we propose the Binary Ensemble Neural Network (BENN) which leverages ensemble methods to improve the performance of BNNs with limited efficiency cost. While ensemble techniques have been broadly believed to be only marginally helpful for strong classifiers such as deep neural networks, our analyses and experiments show that they are naturally a perfect fit to boost BNNs. We find that our BENN, which is faster and much more robust than state-of-the-art binary networks, can even surpass the accuracy of the full-precision floating number network with the same architecture.

研究动机与目标

• 解决二值神经网络（BNNs）在训练与推理过程中因内在不稳定性与非鲁棒性导致的严重精度下降问题。
• 探究尽管位宽极低，集成方法是否能有效缓解BNN的表征与泛化能力限制。
• 提出一种硬件高效、可扩展的架构，通过偏好多个轻量级BNN而非更高精度的单个网络，最大化每比特性能。
• 证明基于集成的BNN可超越全精度模型的精度，同时保持二值计算的速度与能效优势。
• 将设计权衡从‘每网络更多比特’重新定义为‘每比特更多网络’，以实现边缘部署的高效性。

提出的方法

• 提出二值集成神经网络（BENN），通过共享架构训练多个BNN，并利用袋装或提升法集成其预测结果。
• 采用随机二值化与迭代训练生成多样化的基BNN，降低方差并提升鲁棒性。
• 采用线性时间复杂度的集成策略，计算复杂度降低至O(K)，适用于K个集成模型，支持高效的硬件并行化。
• 通过集成平均或加权投票结合预测结果，显著提升泛化能力并降低预测方差。
• 通过共享架构与数据增强优化训练，增强基BNN间的多样性，而无需增加单个网络的模型大小。
• 在CIFAR-10与ImageNet上验证BENN，使用AlexNet与ResNet-18，并与全精度网络及先前的BNN进行比较。

实验结果

研究问题

• RQ1 集成方法能否有效降低BNN的偏差与方差，而BNN本身具有内在不稳定性与非鲁棒性？
• RQ2 将多个BNN组合是否能获得比提高单个网络位宽更高的精度？
• RQ3 BENN能否在保持1比特权重与激活的情况下，超越全精度DNN的精度？
• RQ4 在BNN中，集成数量、模型大小与推理速度之间的最优权衡是什么？
• RQ5 BENN在不同数据集与网络架构上的性能如何扩展？

主要发现

• 在AlexNet上，使用6个提升的BNN，BENN在ImageNet上达到54.3%的top-1精度，超越全精度DNN的56.6%。
• 在ResNet-18上，使用6个提升的BNN，BENN达到61.0%的top-1精度，超过全精度模型的69.3%。
• 即使仅使用4–5个BNN，BENN在ImageNet上仍优于SOTA BNN如XNOR-Net（44.0%）与DoReFa-Net（43.6%）。
• BENN的计算复杂度为O(K)，显著低于基于K²的方案（如K-bit量化或K-base方法）。
• 由于原生支持按位运算，BENN在FPGA上实现O(1)并行化，硬件效率优于多比特量化网络。
• 集成方法降低了预测方差并提升了对噪声的鲁棒性，证实BENN在训练与测试阶段均具备稳定性。