[论文解读] InstaNAS: Instance-aware Neural Architecture Search

An-Chieh Cheng, Chieh Hubert Lin+3 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Neural Network Applications参考文献 38被引用 8

一句话总结

InstaNAS 提出了一种实例感知的神经架构搜索框架，该框架学习任务特定专家架构的分布，而非单一架构，根据输入样本的复杂度动态分配最合适的模型。该方法在 CIFAR-10 上实现与 MobileNetV2 相当的准确率下，将延迟降低高达 48.8%，同时通过根据实例级特征自适应调整架构选择，在多个数据集上保持了强劲的性能表现。

ABSTRACT

Conventional Neural Architecture Search (NAS) aims at finding a single architecture that achieves the best performance, which usually optimizes task related learning objectives such as accuracy. However, a single architecture may not be representative enough for the whole dataset with high diversity and variety. Intuitively, electing domain-expert architectures that are proficient in domain-specific features can further benefit architecture related objectives such as latency. In this paper, we propose InstaNAS---an instance-aware NAS framework---that employs a controller trained to search for a "distribution of architectures" instead of a single architecture; This allows the model to use sophisticated architectures for the difficult samples, which usually comes with large architecture related cost, and shallow architectures for those easy samples. During the inference phase, the controller assigns each of the unseen input samples with a domain expert architecture that can achieve high accuracy with customized inference costs. Experiments within a search space inspired by MobileNetV2 show InstaNAS can achieve up to 48.8% latency reduction without compromising accuracy on a series of datasets against MobileNetV2.

研究动机与目标

• 为解决传统 NAS 在优化与架构相关的指标（如延迟）方面的局限性，这些指标无法通过单一固定架构得到充分满足。
• 探索基于每个输入实例的架构多样性是否能改善实际部署场景中的准确率-延迟权衡。
• 开发一种控制器，基于纹理、背景和物体复杂度等低层次视觉特征，学习为每个实例分配特定的专家架构。
• 通过训练控制器从架构分布中选择，实现动态、条件化的推理，从而在不损失准确率的前提下提升效率。
• 证明实例感知的架构选择与人类对图像难度的感知一致，并带来可测量的效率提升。

提出的方法

• InstaNAS 采用通过强化学习训练的控制器，在候选架构的元图上进行搜索，学习为每个输入实例分配唯一架构。
• 控制器使用一种动态奖励函数，逐步增加环境难度并减小奖励区间边界，模拟课程学习以稳定训练过程。
• 共享主干结构使不同架构之间能够共享参数，从而实现高效的推理，并可迁移至未见过的架构。
• 通过在控制器训练过程中联合考虑任务相关目标（如准确率）和架构相关目标（如延迟），实现多目标优化。
• 推理阶段，控制器根据输入的视觉特征选择对应的领域专家架构，实现条件计算和定制化延迟。
• 搜索空间受 MobileNetV2 启发，通过深度、宽度和模块配置参数化，实现对模型复杂度的细粒度控制。

实验结果

研究问题

• RQ1 一种学习架构分布而非单一架构的 NAS 框架，是否能实现更好的准确率-延迟权衡？
• RQ2 基于视觉复杂度的实例级架构选择，是否能在保持准确率的同时提升推理效率？
• RQ3 控制器能否学习分配与人类对图像难度感知一致的架构？
• RQ4 动态架构分配在 CIFAR-10、ImageNet 和 TinyImageNet 等多样化数据集上对延迟降低有何影响？
• RQ5 该框架在资源受限环境中，能在多大程度上降低延迟而不损害准确率？

主要发现

• 与 MobileNetV2 相比，InstaNAS 在 CIFAR-10 上实现了平均 48.9% 的延迟降低，且准确率无下降。
• 在 CIFAR-100 上，该框架将延迟降低了 40.2%，同时保持了相近的准确率。
• 在 TinyImageNet 上，InstaNAS 实现了 35.2% 的延迟降低，且无准确率下降。
• 在 ImageNet 上，框架将延迟降低了 14.5%，准确率无下降；若接受 0.7% 的准确率小幅下降，则延迟降低可达 26.5%。
• 定性分析表明，控制器会为复杂图像（如背景杂乱、纹理变化大）分配更高延迟的架构，与人类对难度的感知一致。
• 控制器成功根据低层次视觉模式（如背景颜色、物体位置、纹理复杂度）对实例进行分组，并将其分配给相应的专家架构。