[论文解读] Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket

Nianhui Guo, Joseph Bethge+2 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本论文提出 BNext，首个在 ImageNet 上实现 80.57% top-1 准确率的二值化神经网络，通过设计一种新型二值化架构，引入 Info-RCP 与 ELM-Attention 模块，并借助改进的知识蒸馏与现代化数据增强技术提升优化效果。该方法实现了更平滑的损失曲面，克服了二值化网络常见的准确率差距问题。

ABSTRACT

Binary neural networks are the extreme case of network quantization, which has long been thought of as a potential edge machine learning solution. However, the significant accuracy gap to the full-precision counterparts restricts their creative potential for mobile applications. In this work, we revisit the potential of binary neural networks and focus on a compelling but unanswered problem: how can a binary neural network achieve the crucial accuracy level (e.g., 80%) on ILSVRC-2012 ImageNet? We achieve this goal by enhancing the optimization process from three complementary perspectives: (1) We design a novel binary architecture BNext based on a comprehensive study of binary architectures and their optimization process. (2) We propose a novel knowledge-distillation technique to alleviate the counter-intuitive overfitting problem observed when attempting to train extremely accurate binary models. (3) We analyze the data augmentation pipeline for binary networks and modernize it with up-to-date techniques from full-precision models. The evaluation results on ImageNet show that BNext, for the first time, pushes the binary model accuracy boundary to 80.57% and significantly outperforms all the existing binary networks. Code and trained models are available at: https://github.com/hpi-xnor/BNext.git.

研究动机与目标

• 为解决二值化神经网络（BNNs）与全精度模型在 ImageNet 上的持续准确率差距。
• 使 BNN 达到 ILSVRC-2012 ImageNet 上关键的 80% top-1 准确率阈值。
• 应对 BNN 中的优化挑战，包括损失曲面崎岖与训练过程中的过拟合问题。
• 针对二值化网络，现代化数据增强与知识蒸馏技术。
• 证明 BNN 可作为表示学习中强大的特征提取器。

提出的方法

• 提出一种新型二值化处理单元 Info-RCP，通过 BatchNorm 与 PReLU 减少二值化前后特征分布的差距，并引入轻量级注意力分支以实现信息再耦合。
• 引入 ELM-Attention 模块，采用可学习的逐元素旁路乘法机制，动态校准每个基本模块内的输出。
• 通过分阶段的深度与宽度调度策略，堆叠 Info-RCP 与 ELM-Attention 模块，构建 BNext 架构系列。
• 设计多样化连续知识蒸馏（KD）策略，采用基于 KC(x) 的教师模型选择机制，并结合 EfficientNet-B0 与 B2 的间隙敏感集成，以提升学生模型性能。
• 采用 Rand Augmentation 作为主要数据增强策略，证明其在 BNN 中相比 Mixup 与 Cutmix 具有更优泛化能力。
• 应用训练后量化以评估鲁棒性，即使在 SE 模块中权重降至 4 位，仍保持 80.37% 的 top-1 准确率。

实验结果

研究问题

• RQ1 二值化神经网络能否在 ImageNet 上实现 80% 以上的 top-1 准确率，这一里程碑此前未被现有 BNN 实现？
• RQ2 如何改进 BNN 的优化过程，以降低损失曲面的崎岖性并避免次优收敛？
• RQ3 知识蒸馏在提升 BNN 准确率方面发挥何种作用，如何针对二值化网络优化其应用？
• RQ4 哪些数据增强技术在训练高精度 BNN 时最为有效，标准技术如 Mixup 或 Cutmix 是否具有良好的泛化能力？
• RQ5 在不降低性能的前提下，训练后量化能在多大程度上保持 BNN 的准确率？

主要发现

• BNext-L 在 ImageNet 上实现 80.57% 的 top-1 准确率，是首个突破 80% 阈值的 BNN。
• BNext-18 模型展现出显著更平滑的损失曲面，与全精度 ResNet-18 非常接近。
• 采用基于 KC(x) 的教师选择机制，相比使用 ResNet-101 的标准 KD，准确率提升 0.57%。
• 应用间隙敏感集成 KD 与 Rand Augmentation 分别使准确率提升 0.05% 与 0.08%，进一步延长训练至 512 个周期后，top-1 准确率达 72.40%。
• 仅使用 Rand Augmentation 即使准确率相比基线提升 2.49%，而 Mixup 与 Cutmix 效果参差不齐甚至产生负面影响。
• 训练后量化至 8 位权重与激活仅导致准确率下降 0.10%，进一步将 SE 模块权重降至 4 位仍保持 80.37% 的 top-1 准确率，仍高于 80%。