[论文解读] AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling

Dilin Wang, Meng Li+2 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Neural Network Applications参考文献 47被引用 12

一句话总结

AttentiveNAS 通过引入注意力采样策略——BestUp 和 WorstUp——改进了神经架构搜索，优先训练那些有望提升准确率-FLOPs 帕累托前沿的网络，实现了仅 491 MFLOPs 下 80.7% 的 ImageNet 顶部-1 准确率，优于 MobileNetV3 和 FBNetV3 等模型。

ABSTRACT

Neural architecture search (NAS) has shown great promise in designing state-of-the-art (SOTA) models that are both accurate and efficient. Recently, two-stage NAS, e.g. BigNAS, decouples the model training and searching process and achieves remarkable search efficiency and accuracy. Two-stage NAS requires sampling from the search space during training, which directly impacts the accuracy of the final searched models. While uniform sampling has been widely used for its simplicity, it is agnostic of the model performance Pareto front, which is the main focus in the search process, and thus, misses opportunities to further improve the model accuracy. In this work, we propose AttentiveNAS that focuses on improving the sampling strategy to achieve better performance Pareto. We also propose algorithms to efficiently and effectively identify the networks on the Pareto during training. Without extra re-training or post-processing, we can simultaneously obtain a large number of networks across a wide range of FLOPs. Our discovered model family, AttentiveNAS models, achieves top-1 accuracy from 77.3% to 80.7% on ImageNet, and outperforms SOTA models, including BigNAS and Once-for-All networks. We also achieve ImageNet accuracy of 80.1% with only 491 MFLOPs. Our training code and pretrained models are available at https://github.com/facebookresearch/AttentiveNAS.

研究动机与目标

• 解决两阶段 NAS 中均匀采样效率低下的问题，该方法对所有候选网络一视同仁，尽管其在帕累托改进方面的潜力各不相同。
• 通过在训练期间有策略地采样当前最佳或最差帕累托前沿的网络，提升性能帕累托前沿。
• 开发高效、低开销的方法，利用训练损失和准确率预测器识别并优先处理位于最佳或最差帕累托前沿的网络。
• 在不进行微调或后处理的情况下，实现优越的准确率-FLOPs 权衡，从而生成一系列高性能模型。

提出的方法

• 提出两种注意力采样策略：BestUp 专注于改进当前最佳帕累托前沿，WorstUp 则针对表现最差的模型以增强参数更新。
• 使用训练损失和预训练的准确率预测器作为代理，高效识别训练过程中位于最佳或最差帕累托前沿的网络。
• 将注意力采样集成到两阶段 NAS 的权重共享训练阶段，在保持计算效率的同时提升模型质量。
• 在最终的权重共享模型上应用进化搜索，以在不同 FLOPs 范围内发现高性能架构。
• 利用单一统一的训练过程，生成从 203 MFLOPs 到 709 MFLOPs 的一系列模型，每种模型均针对其目标 FLOPs 预算进行了优化。
• 在训练后使用原始 ImageNet 验证集评估性能，确保与先前方法的公平比较。

Figure 1: Comparison of AttentiveNAS with prior NAS approaches [ 36 , 10 , 43 , 3 , 35 ] on ImageNet.

实验结果

研究问题

• RQ1 与均匀采样相比，聚焦于最佳或最差帕累托前沿的注意力采样策略是否能提升搜索模型的最终准确率？
• RQ2 在训练期间提升最差帕累托模型的性能，是否能带来整体帕累托前沿性能的改善？
• RQ3 在引导有效注意力采样时，训练损失与预测准确率这两种代理信号的表现如何比较？
• RQ4 注意力采样是否能在不增加额外微调或后处理的情况下，实现 SOTA 的准确率-FLOPs 权衡？
• RQ5 NAS 采样策略中，探索与利用的最佳平衡点是什么？

主要发现

• WorstUp-1M (acc) 在 200±10 MFLOPs 范围内比 Uniform 提升了 0.3% 的顶部-1 准确率，表明改善最差表现模型可带动整个帕累托前沿的提升。
• WorstUp-50 (acc) 和 WorstUp-1M (acc) 显著提升了帕累托前沿的下限，其最小准确率和第一四分位数均高于 Uniform 和 BestUp 策略。
• BestUp-3 (loss) 实现了最佳整体性能，通过有效平衡探索与利用，优于 Uniform 及其他 BestUp 变体。
• AttentiveNAS-A5 在仅 491 MFLOPs 下实现 80.1% 的 ImageNet 顶部-1 准确率，优于相同 FLOPs 约束下的 MobileNetV3 和 FBNetV3。
• AttentiveNAS-A6 在 709 MFLOPs 下实现 80.7% 的顶部-1 准确率，创下 700+ MFLOPs 范围内模型的新 SOTA 记录。
• 该方法在所有 FLOPs 范围内均实现了 SOTA 准确率，优于包括 BigNAS、OFA、EfficientNet 和 FBNetV3 在内的成熟基线模型。

Figure 2: An illustration of the architecture sampling procedure in training two-stage NAS. At each training step, a single or several sub-networks are sampled from a pre-defined search space. In our implementation, a sub-network is specified by a set of choices of input resolution, channel widths,