[论文解读] Bi-Real Net: Binarizing Deep Network Towards Real-Network Performance

Zechun Liu, Wenhan Luo+4 more|arXiv (Cornell University)|Nov 4, 2018

Advanced Vision and Imaging参考文献 48被引用 8

一句话总结

本文提出Bi-Real Net，一种1-bit卷积神经网络，通过引入无参数的捷径连接来保留每个1-bit卷积层的实值激活，从而增强表征能力。该方法在ImageNet上实现了最先进性能，18层网络的top-1准确率为56.4%，152层网络为64.5%，显著优于先前的二值化模型，同时保持了低内存和计算成本。

ABSTRACT

In this paper, we study 1-bit convolutional neural networks (CNNs), of which both the weights and activations are binary. While efficient, the lacking of representational capability and the training difficulty impede 1-bit CNNs from performing as well as real-valued networks. We propose Bi-Real net with a novel training algorithm to tackle these two challenges. To enhance the representational capability, we propagate the real-valued activations generated by each 1-bit convolution via a parameter-free shortcut. To address the training difficulty, we propose a training algorithm using a tighter approximation to the derivative of the sign function, a magnitude-aware gradient for weight updating, a better initialization method, and a two-step scheme for training a deep network. Experiments on ImageNet show that an 18-layer Bi-Real net with the proposed training algorithm achieves 56.4% top-1 classification accuracy, which is 10% higher than the state-of-the-arts (e.g., XNOR-Net) with greater memory saving and lower computational cost. Bi-Real net is also the first to scale up 1-bit CNNs to an ultra-deep network with 152 layers, and achieves 64.5% top-1 accuracy on ImageNet. A 50-layer Bi-Real net shows comparable performance to a real-valued network on the depth estimation task with only a 0.3% accuracy gap.

研究动机与目标

• 解决1-bit CNN与全精度网络在大规模数据集（如ImageNet）上的性能差距。
• 克服标准1-bit CNN表征能力有限的问题，避免二值化过程中丢失有价值信息。
• 降低1-bit网络的训练难度，此类网络常因收敛性差导致性能下降。
• 在保持高精度的同时，实现1-bit网络向超深层架构（如152层）的扩展。
• 通过FPGA评估，证明1-bit网络在移动和嵌入式设备上具有实际部署可行性。

提出的方法

• 引入无参数的捷径路径，将每个1-bit卷积层的实值激活传递至后续层，以保留高精度特征信息。
• 设计每块1层的架构，使某一块的实值输出与下一块的实值特征相加，从而增强表征能力。
• 在反向传播中对符号函数的导数采用更紧致的近似，以改善梯度流动。
• 实现基于幅度感知的权重量化，确保量化过程中保留原始权重的幅度。
• 提出两步训练方案：先预训练全精度网络，再使用预训练权重微调二值化版本。
• 设计一种新型初始化方法，以稳定训练并提升深层1-bit网络的收敛性。

实验结果

研究问题

• RQ1 1-bit CNN能否在大规模基准（如ImageNet）上实现与全精度网络相当的性能？
• RQ2 如何在不引入额外参数的情况下增强1-bit CNN的表征能力？
• RQ3 哪些训练技术最有效于稳定和提升1-bit网络的性能？
• RQ4 1-bit网络能否在保持高精度的同时扩展至超深层架构（如152层）？
• RQ5 1-bit网络在移动和嵌入式平台上的高效部署程度如何？

主要发现

• 18层的Bi-Real Net在ImageNet上达到56.4% top-1准确率，较先前SOTA方法（如XNOR-Net）提升10%。
• 152层的Bi-Real Net在ImageNet上达到64.5% top-1准确率，首次成功将1-bit CNN扩展至如此深度。
• 50层的Bi-Real Net在KITTI深度估计基准上达到84.9%准确率，与全精度ResNet-50仅相差0.3%，性能相当。
• 在FPGA上，18层的Bi-Real Net相比其全精度对应模型实现7.38倍加速，且LUT和FF资源使用更少。
• 在相同FPGA平台上，仅二值卷积层相比32位卷积实现15.8倍加速。
• 所提出的训练算法（包括更紧致的梯度近似和幅度感知二值化）可实现深层1-bit网络的稳定训练与高精度。