[论文解读] Training Binary Neural Networks with Real-to-Binary Convolutions

Brais Martínez, Jing Yang+2 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Neural Network Applications参考文献 28被引用 69

一句话总结

该论文通过建立强基线并通过 real-to-binary 对齐（通过注意力匹配和数据驱动的通道重新缩放）将二值神经网络的精度推近全精度。

ABSTRACT

This paper shows how to train binary networks to within a few percent points ($\sim 3-5 \%$) of the full precision counterpart. We first show how to build a strong baseline, which already achieves state-of-the-art accuracy, by combining recently proposed advances and carefully adjusting the optimization procedure. Secondly, we show that by attempting to minimize the discrepancy between the output of the binary and the corresponding real-valued convolution, additional significant accuracy gains can be obtained. We materialize this idea in two complementary ways: (1) with a loss function, during training, by matching the spatial attention maps computed at the output of the binary and real-valued convolutions, and (2) in a data-driven manner, by using the real-valued activations, available during inference prior to the binarization process, for re-scaling the activations right after the binary convolution. Finally, we show that, when putting all of our improvements together, the proposed model beats the current state of the art by more than 5% top-1 accuracy on ImageNet and reduces the gap to its real-valued counterpart to less than 3% and 5% top-1 accuracy on CIFAR-100 and ImageNet respectively when using a ResNet-18 architecture. Code available at https://github.com/brais-martinez/real2binary.

研究动机与目标

• 旨在在标准基准上缩小二值网络与实值网络之间的性能差距。
• 通过整合最近的二值网络技术和优化的训练策略构建强基线。
• 引入 real-to-binary 注意力匹配以引导二值优化。
• 引入数据驱动、激活信息驱动的通道重新缩放以增强二值卷积能力。

提出的方法

• 构建一个基于 ResNet-18 的强二值基线，具有优化的块结构和训练方案。
• 通过将选定块的归一化注意力图与实值教师对齐，引入 real-to-binary 注意力匹配。
• 采用渐进式师生训练方案以缩小实值网络与二值网络之间的架构差距。
• 开发一个数据驱动的门控函数 G，它从预二值化的实值激活中预测通道级缩放因子以重新缩放二值卷积输出。
• 在缩放/门控组件所致的额外 FLOPs 仅约1%的情况下，维持接近恒定的二值 FLOPs。
• 给出将 BNN、XNOR-Net、Bi-Real 与所提方法进行对比的成本分析。

实验结果

研究问题

• RQ1 在不增加二值运算的前提下，强基线是否能将二值网络推向 ImageNet 的 state-of-the-art 精度？
• RQ2 通过注意力传递将二值卷积与实值对应网络对齐是否能改善二值网络的训练信号？
• RQ3 数据驱动、激活信息驱动的通道重新缩放能否显著缩小与实值网络之间的差距？
• RQ4 渐进式师生策略如何影响二值网络优化？

主要发现

• 强基线在 ImageNet 上超越所有已发表的二值网络结果，大约领先1%的 top-1 精度。
• 提出的 real-to-binary 注意力匹配和渐进式师生策略带来显著提升，在 ImageNet 上实现超过5%的 top-1 增益。
• real-to-bin 方法使 CIFAR-100 上与实值网络的差距降至约4% 的 top-1，在 ImageNet 的 ResNet-18 上约为5%。
• 数据驱动的通道重新缩放弥合二值与实值网络之间剩余差距的三分之一以上。
• 在 ImageNet 的 ResNet-18 上，Real-to-Bin 达到 65.4% 的 top-1 和 86.2% 的 top-5，分别相比强基线的 60.9%/83.0% 和全精度的 69.3%/89.2%。
• 该方法在计算成本上与以往二值网络相近，仅在 FLOPs 上增加约1%。