[论文解读] Binarized Neural Architecture Search for Efficient Object Recognition

Hanlin Chen, Li’an Zhuo+6 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Neural Network Applications参考文献 73被引用 4

一句话总结

本文提出二值化神经架构搜索（BNAS），一种用于在边缘设备上实现高效目标识别的二值化卷积神经网络架构搜索方法。通过整合操作空间压缩、通道采样以及基于性能的剪枝策略，并结合上限置信区间（UCB）优化，BNAS在CIFAR-10上达到96.53%的准确率，与全精度NAS方法相当；在ImageNet和人脸识别任务上也表现出色，同时相比PC-DARTS方法，模型尺寸和搜索时间最高减少40%。

ABSTRACT

Traditional neural architecture search (NAS) has a significant impact in computer vision by automatically designing network architectures for various tasks. In this paper, binarized neural architecture search (BNAS), with a search space of binarized convolutions, is introduced to produce extremely compressed models to reduce huge computational cost on embedded devices for edge computing. The BNAS calculation is more challenging than NAS due to the learning inefficiency caused by optimization requirements and the huge architecture space, and the performance loss when handling the wild data in various computing applications. To address these issues, we introduce operation space reduction and channel sampling into BNAS to significantly reduce the cost of searching. This is accomplished through a performance-based strategy that is robust to wild data, which is further used to abandon less potential operations. Furthermore, we introduce the Upper Confidence Bound (UCB) to solve 1-bit BNAS. Two optimization methods for binarized neural networks are used to validate the effectiveness of our BNAS. Extensive experiments demonstrate that the proposed BNAS achieves a comparable performance to NAS on both CIFAR and ImageNet databases. An accuracy of $96.53\%$ vs. $97.22\%$ is achieved on the CIFAR-10 dataset, but with a significantly compressed model, and a $40\%$ faster search than the state-of-the-art PC-DARTS. On the wild face recognition task, our binarized models achieve a performance similar to their corresponding full-precision models.

研究动机与目标

• 解决神经网络在边缘设备上计算成本高和模型尺寸大的问题。
• 开发一种专为二值化网络设计的神经架构搜索方法，此类网络更高效但存在性能下降问题。
• 降低搜索成本并提升二值化架构搜索效率，特别是针对1-bit网络。
• 在真实数据（如实际人脸识别）上实现鲁棒性能，同时保持极低的准确率损失。
• 证明二值化架构可达到全精度NAS的性能水平，同时实现显著压缩。

提出的方法

• 提出BNAS，一种由二值化卷积组成的搜索空间，用于生成适用于边缘部署的高度压缩模型。
• 应用操作空间压缩和通道采样技术，早期剪枝搜索空间，降低计算成本。
• 采用基于性能的策略，在搜索过程中动态剔除潜力较低的操作，提升效率并增强对真实数据的鲁棒性。
• 使用上限置信区间（UCB）多臂赌博机算法优化1-bit BNAS，平衡架构搜索中的探索与利用。
• 在同一NAS框架内重构二值化优化过程，支持端到端训练与搜索。
• 通过两种二值化网络优化技术（PCNN和XNOR-Net）验证方法的有效性，证明其在不同方法间的泛化能力。

实验结果

研究问题

• RQ1 神经架构搜索能否被有效适配到二值化网络中，以实现高效率与高性能？
• RQ2 如何在不牺牲准确率的前提下，高效压缩二值化NAS的搜索空间？
• RQ3 基于性能的剪枝策略是否能提升二值化模型在真实数据上的鲁棒性？
• RQ4 与随机或贪婪搜索相比，UCB赌博机策略如何提升1-bit BNAS的性能？
• RQ5 在真实任务（如人脸识别）中，二值化架构在多大程度上可达到全精度NAS的性能水平？

主要发现

• BNAS在CIFAR-10上达到96.53%的top-1准确率，与全精度NAS方法的97.22%相比仅略有下降，但模型显著压缩。
• BNAS的搜索时间为0.09375 GPU天，比最先进方法PC-DARTS快40%。
• 在ImageNet数据集上，BNAS发现的二值化架构性能与全精度NAS模型相当，但模型尺寸小得多。
• 在人脸识别任务中，1-bit BNAS在LFW数据集上达到98.57%的准确率，仅比全精度ResNet-18低1.06%，且参数量仅为10.224M。
• 1-bit BNAS在准确率上比现有手工设计的1-bit网络高出5.0%，且参数更少。
• 该方法展现出强大的可迁移性，在CIFAR-10、ImageNet以及真实人脸识别基准等多样化数据集上均保持高性能。