[论文解读] FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search

Jiemin Fang, Yuzhu Sun+5 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Neural Network Applications参考文献 89被引用 4

一句话总结

FNA++ 提出了一种快速的网络适配方法，通过参数重映射与神经架构搜索，高效地将预训练网络（如 MobileNetV2）适配到语义分割、目标检测和姿态估计等新任务。通过将参数从种子网络重映射到超网络，并在种子网络附近进行架构搜索，FNA++ 相较于 SOTA NAS 方法将计算成本降低了高达 1737 倍，同时实现了更优的性能。

ABSTRACT

Deep neural networks achieve remarkable performance in many computer vision tasks. Most state-of-the-art (SOTA) semantic segmentation and object detection approaches reuse neural network architectures designed for image classification as the backbone, commonly pre-trained on ImageNet. However, performance gains can be achieved by designing network architectures specifically for detection and segmentation, as shown by recent neural architecture search (NAS) research for detection and segmentation. One major challenge though is that ImageNet pre-training of the search space representation (a.k.a. super network) or the searched networks incurs huge computational cost. In this paper, we propose a Fast Network Adaptation (FNA++) method, which can adapt both the architecture and parameters of a seed network (e.g. an ImageNet pre-trained network) to become a network with different depths, widths, or kernel sizes via a parameter remapping technique, making it possible to use NAS for segmentation and detection tasks a lot more efficiently. In our experiments, we apply FNA++ on MobileNetV2 to obtain new networks for semantic segmentation, object detection, and human pose estimation that clearly outperform existing networks designed both manually and by NAS. We also implement FNA++ on ResNets and NAS networks, which demonstrates a great generalization ability. The total computation cost of FNA++ is significantly less than SOTA segmentation and detection NAS approaches: 1737x less than DPC, 6.8x less than Auto-DeepLab, and 8.0x less than DetNAS. A series of ablation studies are performed to demonstrate the effectiveness, and detailed analysis is provided for more insights into the working mechanism. Codes are available at https://github.com/JaminFong/FNA.

研究动机与目标

• 解决语义分割和目标检测任务中，为特定任务搜索神经架构时的高计算成本问题。
• 实现在无需完整微调的情况下，高效适配 ImageNet 预训练模型到新任务。
• 开发一种参数重映射技术，将知识从种子网络传递到超网络，以实现更快的架构搜索。
• 证明从预训练种子网络进行架构级微调，相较于随机搜索或超网络预训练，在效率和性能上均更优。
• 将该方法推广至多种主干网络，包括 ResNets 和 NAS 生成的网络。

提出的方法

• FNA++ 以一个预训练的种子网络（如 MobileNetV2）为起点，将其扩展为表示搜索空间的超网络。
• 使用一种新颖的参数重映射机制，将种子网络的参数映射到超网络中，以初始化搜索过程。
• 在参数重映射后的超网络上执行架构搜索，聚焦于靠近种子网络的架构，以缩小搜索空间并加速收敛。
• 基于超网络中的参数分布推导出目标架构，确保参数初始化受种子网络的有效指导。
• 最终网络通过重映射后的参数进行微调，实现仅需极少训练即可完成快速参数适配。
• 该方法支持架构级与参数级的双重适配，将整个过程视为一种迁移学习形式。

实验结果

研究问题

• RQ1 从预训练种子网络进行参数重映射，是否能显著降低语义分割和目标检测任务中神经架构搜索的计算成本？
• RQ2 基于预训练种子网络初始化的架构搜索，是否在准确率和效率上均优于随机初始化或均匀初始化的搜索？
• RQ3 所提出的参数重映射机制在不同任务的网络适配过程中，是否能有效保持性能？
• RQ4 FNA++ 是否能在包括 ResNets 和 NAS 生成模型在内的多种主干网络上实现良好泛化？
• RQ5 源任务与目标任务之间的架构相似性，对架构级微调的有效性有何影响？

主要发现

• 在语义分割和目标检测任务中，FNA++ 相较于 DPC 将总计算成本降低了 1737 倍，相较于 Auto-DeepLab 降低了 6.8 倍，相较于 DetNAS 降低了 8.0 倍。
• FNA++ 适配得到的网络在语义分割、目标检测和人体姿态估计任务中，性能优于人工设计的网络以及 NAS 生成的模型。
• 得益于从种子网络有效传递的参数重映射，该方法即使在极低微调量下也能实现卓越性能。
• 消融实验表明，参数重映射与架构级微调是该方法成功的关键，且在种子网络附近进行搜索的效果优于随机初始化。
• 在 ResNets 和 NAS 生成的网络上验证了 FNA++ 的泛化能力，证明其在不同网络族系中均具有鲁棒性。
• 由于超网络通过重映射参数初始化，无需昂贵的预训练，因此搜索过程显著加速。