[论文解读] Locally Free Weight Sharing for Network Width Search

Xiu Su, Shan You+5 more|arXiv (Cornell University)|Feb 10, 2021

Advanced Neural Network Applications参考文献 55被引用 23

一句话总结

该论文提出CafeNet，一种用于神经架构搜索（NAS）的局部自由权重重用策略，通过在局部区域内自由选择通道，提升网络宽度搜索的性能评估精度。通过将基础通道与局部自由通道结合，并使用FLOPs敏感的分箱机制，CafeNet在最小-最小优化策略下实现高效、随机训练，达到SOTA性能，包括在ImageNet上相比EfficientNet-B0提升0.41%的准确率。

ABSTRACT

Searching for network width is an effective way to slim deep neural networks with hardware budgets. With this aim, a one-shot supernet is usually leveraged as a performance evaluator to rank the performance \wrt~different width. Nevertheless, current methods mainly follow a manually fixed weight sharing pattern, which is limited to distinguish the performance gap of different width. In this paper, to better evaluate each width, we propose a locally free weight sharing strategy (CafeNet) accordingly. In CafeNet, weights are more freely shared, and each width is jointly indicated by its base channels and free channels, where free channels are supposed to loCAte FrEely in a local zone to better represent each width. Besides, we propose to further reduce the search space by leveraging our introduced FLOPs-sensitive bins. As a result, our CafeNet can be trained stochastically and get optimized within a min-min strategy. Extensive experiments on ImageNet, CIFAR-10, CelebA and MS COCO dataset have verified our superiority comparing to other state-of-the-art baselines. For example, our method can further boost the benchmark NAS network EfficientNet-B0 by 0.41\% via searching its width more delicately.

研究动机与目标

• 为解决单次超网络训练中固定权重重用模式的局限性，该模式限制了对不同网络宽度的准确性能评估。
• 通过在目标宽度附近的局部区域内自由选择通道，提升子网络表示的表达能力，增强灵活性，同时避免搜索空间爆炸。
• 通过使用FLOPs敏感分箱，高效减少搜索空间，使FLOPs在各层间分布更均衡，从而在硬件约束下实现更优优化。
• 在超网络中支持随机训练与最小-最小优化策略，使模型能够收敛至最佳性能的宽度配置。
• 在严格FLOPs预算下，实现跨多种数据集与模型（包括ImageNet、CIFAR-10与MS COCO）的宽度搜索卓越性能。

提出的方法

• CafeNet提出一种两阶段通道选择策略：基础通道遵循固定的最左模式，而自由通道则从目标宽度附近的局部邻域中选择，实现局部灵活性。
• 该方法采用最小-最小优化策略，即对每个宽度，选择损失最低的子网络，从而实现高效且准确的性能排序。
• 引入FLOPs敏感分箱作为搜索单元，将网络划分为FLOPs分布更均衡的区域，减少搜索空间并提升优化效率。
• 通过在每个批次中前向传播多个子网络配置，并仅进行一次反向传播，实现超网络的随机训练，尽管前向传播次数增加，但保持了训练效率。
• 局部自由通道选择通过半径r参数化，控制局部区域的大小；默认使用r=1，以在性能与效率之间取得平衡。
• 该方法支持贪婪与进化搜索策略，实现跨不同模型与FLOPs预算的鲁棒且可扩展的宽度搜索。

实验结果

研究问题

• RQ1 与固定权重重用相比，局部自由权重重用策略是否能提升不同网络宽度性能评估的准确性？
• RQ2 在局部区域内允许自由通道选择，是否能增强子网络的表达能力，同时避免产生不可接受的计算成本？
• RQ3 FLOPs敏感分箱是否能有效减少搜索空间，同时在不同FLOPs预算下维持或提升模型准确率？
• RQ4 在随机训练下，最小-最小优化策略在识别最优宽度配置方面表现如何？
• RQ5 CafeNet在更精确的宽度搜索下，能多大程度上提升现有模型（如EfficientNet-B0）的性能？

主要发现

• CafeNet通过实现更细粒度的宽度搜索，在ImageNet上相比基线EfficientNet-B0实现0.41%的准确率提升。
• 在CIFAR-10上，CafeNet结合进化搜索策略，使0.5× FLOPs的MobileNetV2准确率提升0.91%，VGGNet提升0.74%，相比均匀基线搜索。
• 在相同FLOPs预算下，使用FLOPs敏感分箱使MobileNetV2准确率最高提升0.19%，VGGNet提升0.34%，证明了搜索空间的有效缩减。
• 当r=1时，CafeNet相比r=0仅增加19%的训练时间，表明所增加的灵活性对训练效率影响极小。
• 在ResNet34与ResNet18上，CafeNet实现0.75× FLOPs模型，Top-1准确率与原始模型相差不超过0.5%，且在10% FLOPs预算下，相比基线最高提升2.5%。
• 局部自由权重重用与FLOPs敏感分箱的结合，在ImageNet上带来0.41%的准确率增益，并在多个数据集与模型架构上实现一致的性能提升。