[论文解读] FBNetV5: Neural Architecture Search for Multiple Tasks in One Run

BoRui Wu, Chaojian Li+7 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Neural Network Applications参考文献 63被引用 12

一句话总结

FBNetV5 是一种神经架构搜索框架，可在单次搜索过程中同时发现适用于多种计算机视觉任务（图像分类、目标检测和语义分割）的高效且高性能模型。它采用统一的多分辨率超网络与可学习的二值掩码，并结合多任务代理训练目标，在显著降低搜索成本的同时无需任务特定的流水线集成，实现了最先进（SOTA）的性能表现。

ABSTRACT

Neural Architecture Search (NAS) has been widely adopted to design accurate and efficient image classification models. However, applying NAS to a new computer vision task still requires a huge amount of effort. This is because 1) previous NAS research has been over-prioritized on image classification while largely ignoring other tasks; 2) many NAS works focus on optimizing task-specific components that cannot be favorably transferred to other tasks; and 3) existing NAS methods are typically designed to be "proxyless" and require significant effort to be integrated with each new task's training pipelines. To tackle these challenges, we propose FBNetV5, a NAS framework that can search for neural architectures for a variety of vision tasks with much reduced computational cost and human effort. Specifically, we design 1) a search space that is simple yet inclusive and transferable; 2) a multitask search process that is disentangled with target tasks' training pipeline; and 3) an algorithm to simultaneously search for architectures for multiple tasks with a computational cost agnostic to the number of tasks. We evaluate the proposed FBNetV5 targeting three fundamental vision tasks -- image classification, object detection, and semantic segmentation. Models searched by FBNetV5 in a single run of search have outperformed the previous stateof-the-art in all the three tasks: image classification (e.g., +1.3% ImageNet top-1 accuracy under the same FLOPs as compared to FBNetV3), semantic segmentation (e.g., +1.8% higher ADE20K val. mIoU than SegFormer with 3.6x fewer FLOPs), and object detection (e.g., +1.1% COCO val. mAP with 1.2x fewer FLOPs as compared to YOLOX).

研究动机与目标

• 为解决将神经架构搜索（NAS）应用于图像分类以外的新计算机视觉任务时所面临的高人力与计算成本问题。
• 克服现有任务特定 NAS 方法在不同视觉任务间不可迁移的局限性。
• 将 NAS 搜索过程与目标任务训练流水线解耦，以提升可扩展性与可重用性。
• 开发一种计算成本与任务数量无关的搜索算法，实现高效多任务架构发现。
• 证明单次搜索运行即可在无需任务特定调优的情况下，为多样化视觉任务生成最先进水平的模型。

提出的方法

• 基于多分辨率超网络与并行路径设计一种简单但全面且可迁移的搜索空间，受 HRNet 启发。
• 采用可学习的二值掩码表示超网络内的架构选择（保留/丢弃模块），实现可微分架构搜索。
• 在来自 ImageNet 的代理多任务数据集上进行搜索，该数据集通过预训练模型生成合成的检测与分割标签。
• 提出一种新颖的多任务搜索算法（算法 4），通过单个超网络同时优化多个任务，且搜索成本与任务数量无关。
• 通过使用固定的代理数据集和损失函数，将搜索过程与目标任务训练流水线解耦，避免干扰下游训练。
• 采用共享超网络与跨任务共享参数，实现在一次训练运行中高效搜索多个目标的架构。

实验结果

研究问题

• RQ1 单一 NAS 框架是否能够在无需任务特定流水线集成的情况下，同时发现适用于多个视觉任务的高性能高效架构？
• RQ2 包含多分辨率路径与共享参数的统一搜索空间，是否能实现跨分类、检测与分割等多样化任务的可迁移且高效的架构？
• RQ3 多任务搜索算法是否能在降低与任务数量成比例的搜索成本的同时，实现与单任务搜索相当或更优的性能？
• RQ4 通过联合搜索发现的模型在准确率、FLOPs 和推理效率方面，相较于最先进模型在多个基准测试中的表现如何？
• RQ5 所提出的框架是否能实现无需重训或重配置搜索流水线的新任务可扩展 NAS？

主要发现

• 在相同 FLOPs 条件下，FBNetV5 在 ImageNet 图像分类任务上的 Top-1 准确率相比 FBNetV3 提升 1.3%，证明其在效率-准确率权衡上更具优势。
• 在 ADE20K 语义分割任务中，FBNetV5 的 mIoU 比 SegFormer 高出 1.8%，且 FLOPs 减少 3.6 倍，显示出显著的效率优势。
• 在 COCO 目标检测任务中，FBNetV5 相比 YOLOX 将 mAP 提升 1.1%，同时 FLOPs 减少 1.2 倍，展现出更低计算量下的强大性能。
• 与单任务搜索相比，多任务搜索算法将搜索成本降低了 T 倍（T 为任务数量），同时保持或提升了性能。
• 在分类任务中搜索到的架构呈现出非顺序、多分辨率的模块组合模式，暗示了超越标准顺序堆叠的新设计方向。
• 在相同搜索空间中，随机搜索可达到较强的基线性能，但 FBNetV5 的多任务搜索在所有任务上均持续优于随机搜索 0.3–1.6 个百分点。