[论文解读] Binarizing MobileNet via Evolution-based Searching

Hai Thanh Phan, Zechun Liu+4 more|arXiv (Cornell University)|May 13, 2020

Advanced Neural Network Applications参考文献 51被引用 5

一句话总结

本文提出一种基于进化搜索的方法，通过优化异构组卷积结构来二值化MobileNet，在仅使用单张GPU进行搜索的情况下，实现了在ImageNet上60.09%的Top-1准确率，仅需1.54×10⁸ FLOPs，优于SOTA方法如CI-BCNN，在准确率和效率上均表现更优。

ABSTRACT

Binary Neural Networks (BNNs), known to be one among the effectively compact network architectures, have achieved great outcomes in the visual tasks. Designing efficient binary architectures is not trivial due to the binary nature of the network. In this paper, we propose a use of evolutionary search to facilitate the construction and training scheme when binarizing MobileNet, a compact network with separable depth-wise convolution. Inspired by one-shot architecture search frameworks, we manipulate the idea of group convolution to design efficient 1-Bit Convolutional Neural Networks (CNNs), assuming an approximately optimal trade-off between computational cost and model accuracy. Our objective is to come up with a tiny yet efficient binary neural architecture by exploring the best candidates of the group convolution while optimizing the model performance in terms of complexity and latency. The approach is threefold. First, we train strong baseline binary networks with a wide range of random group combinations at each convolutional layer. This set-up gives the binary neural networks a capability of preserving essential information through layers. Second, to find a good set of hyperparameters for group convolutions we make use of the evolutionary search which leverages the exploration of efficient 1-bit models. Lastly, these binary models are trained from scratch in a usual manner to achieve the final binary model. Various experiments on ImageNet are conducted to show that following our construction guideline, the final model achieves 60.09% Top-1 accuracy and outperforms the state-of-the-art CI-BCNN with the same computational cost.

研究动机与目标

• 为解决在移动端部署时，针对轻量级架构（如MobileNet）设计高效且准确的二值神经网络（BNN）的挑战。
• 通过探索组卷积作为平衡方案，克服深度可分离卷积和全连接二值卷积的局限性——即表示范围狭窄和计算成本高。
• 开发一种搜索策略，以在各层中识别最优的、异构的组配置，从而在最大化准确率的同时最小化计算成本。
• 证明进化搜索能够有效探索BNN中组卷积配置的复杂搜索空间，从而生成性能更优的网络架构。

提出的方法

• 该方法首先在每个卷积层使用多样化的随机组组合训练强基准二值网络，以在各层间保留特征信息。
• 采用进化搜索算法探索组卷积配置空间，优化准确率、FLOPs和推理延迟。
• 搜索过程基于单次架构搜索范式，通过训练一个单一超网络，高效评估多种候选架构。
• 最终的二值模型基于进化搜索识别出的最佳组配置从头开始训练。
• 该方法利用权重重用和可微搜索原理，降低搜索成本并提升收敛性。
• 该方法应用于包含13层的MobileNet架构，每层动态分配组数，以平衡表示能力与效率。

实验结果

研究问题

• RQ1 进化搜索能否有效识别二值化MobileNet中最佳的组卷积配置，从而提升准确率与效率？
• RQ2 与同质或固定组配置相比，各层间采用异构组结构在性能和计算成本方面表现如何？
• RQ3 在相同计算预算下，所提方法能否在Top-1准确率和FLOPs上均优于SOTA二值神经网络（如CI-BCNN和BiReal-Net）？
• RQ4 组配置对二值网络训练的稳定性和收敛性有何影响？
• RQ5 将组卷积作为深度可分离卷积与全连接卷积之间的折中方案，是否能提升1-bit网络的特征表示能力？

主要发现

• 所提方法在ImageNet上实现了60.09%的Top-1准确率，相比相同FLOP预算（1.54×10⁸）下的SOTA方法CI-BCNN高出1%。
• 该方法在仅使用其33% FLOPs（0.33×10⁸ vs. 1.63×10⁸）的情况下，比BiReal-Net-18高出4.5%的Top-1准确率，展现出卓越的效率。
• 所提架构中的Module 2和Module 3在Top-1准确率上优于BiReal-Net和CI-BCNN，同时FLOPs显著更低。
• 与朴素的随机组配置相比，进化搜索产生的结果更稳定且准确，证实了各层间采用异构组结构的优势。
• 消融实验表明，搜索算法优先在早期层分配较少组数以保留输入信息，并在后期层增加组数以增强特征紧凑性。
• 该方法仅使用单张GPU完成整个搜索过程，表明搜索成本低且具备实际可行性。