[论文解读] Fast Neural Network Adaptation via Parameter Remapping and Architecture Search

Jiemin Fang, Yuzhu Sun+5 more|arXiv (Cornell University)|Jan 8, 2020

Advanced Neural Network Applications参考文献 49被引用 20

一句话总结

本文提出快速神经网络自适应（FNA），一种通过参数重映射和神经架构搜索实现高效架构与参数自适应的方法，适用于预训练模型（如MobileNetV2）在语义分割和目标检测任务中的应用。FNA通过智能参数重映射与NAS驱动的架构搜索，重用ImageNet预训练权重，在计算量仅为DPC的1/1737、Auto-DeepLab的1/6.8和DetNAS的1/7.4的情况下，实现SOTA性能。

ABSTRACT

Deep neural networks achieve remarkable performance in many computer vision tasks. Most state-of-the-art (SOTA) semantic segmentation and object detection approaches reuse neural network architectures designed for image classification as the backbone, commonly pre-trained on ImageNet. However, performance gains can be achieved by designing network architectures specifically for detection and segmentation, as shown by recent neural architecture search (NAS) research for detection and segmentation. One major challenge though, is that ImageNet pre-training of the search space representation (a.k.a. super network) or the searched networks incurs huge computational cost. In this paper, we propose a Fast Neural Network Adaptation (FNA) method, which can adapt both the architecture and parameters of a seed network (e.g. a high performing manually designed backbone) to become a network with different depth, width, or kernels via a Parameter Remapping technique, making it possible to utilize NAS for detection/segmentation tasks a lot more efficiently. In our experiments, we conduct FNA on MobileNetV2 to obtain new networks for both segmentation and detection that clearly out-perform existing networks designed both manually and by NAS. The total computation cost of FNA is significantly less than SOTA segmentation/detection NAS approaches: 1737$\ imes$ less than DPC, 6.8$\ imes$ less than Auto-DeepLab and 7.4$\ imes$ less than DetNAS. The code is available at https://github.com/JaminFong/FNA.

研究动机与目标

• 解决语义分割与目标检测任务中预训练与神经架构搜索（NAS）带来的高计算成本问题。
• 实现在无需完整微调的情况下，对人工设计的ImageNet预训练网络（如MobileNetV2）高效适配新任务。
• 开发一种参数重映射策略，在最小化自适应成本的同时保持模型性能。
• 证明通过利用预训练种子网络，NAS可被高效应用于目标检测与语义分割任务。
• 通过重用现有预训练模型，降低基于NAS的视觉任务主干网络设计的计算负担。

提出的方法

• FNA使用通过扩展预训练种子网络（如MobileNetV2）获得的超网络表示，以表示NAS的搜索空间。
• 参数重映射通过通道重要性度量（如BatchNorm统计量、L1范数或标准差）将种子网络的权重映射到超网络中，以初始化超网络权重。
• 在超网络上使用NAS方法进行架构搜索，以识别适用于新任务的最优目标架构。
• 基于参考向量（如|γ|、标准差或L1范数）的top-k选择策略，将种子网络的参数重映射到目标架构中，以保持性能。
• 探索基于膨胀的核级重映射策略，仅从原始权重中保留核的特定空间位置。
• 最终模型在目标任务（如DeepLabv3或RetinaNet）上进行微调，无需额外的ImageNet预训练，显著降低训练成本。

实验结果

研究问题

• RQ1 能否通过从预训练的人工设计网络（如MobileNetV2）中进行参数重映射，实现语义分割与目标检测任务中高效且有效的架构搜索？
• RQ2 基于BatchNorm统计量、L1范数或标准差的参数重映射策略，在网络自适应过程中性能保持方面有何差异？
• RQ3 与现有SOTA方法相比，FNA在多大程度上降低了基于NAS的主干网络设计在目标检测与语义分割任务中的计算成本？
• RQ4 所提出的重映射策略是否能实现比从头训练或从预训练模型微调更快的收敛速度与更优性能？
• RQ5 FNA是否可泛化至语义分割与目标检测之外的其他视觉任务，如姿态估计或深度估计？

主要发现

• 在Cityscapes验证集上，FNA在语义分割任务中达到76.6%的mIOU，优于所有人工设计与NAS优化的基线模型。
• 在基于NAS的目标检测与语义分割任务中，FNA相比DPC将总计算成本降低1737倍，相比Auto-DeepLab降低6.8倍，相比DetNAS降低7.4倍。
• 基于BatchNorm统计量的参数重映射策略（Width-BN）达到最高的mIOU（75.8%），优于基于L1范数与标准差的方法。
• 基于膨胀的核级重映射策略达到75.6%的mIOU，表明结构化重映射可在极小参数传输下保持性能。
• FNA支持直接在目标任务上进行微调，无需ImageNet预训练，显著降低训练成本，同时保持或提升准确率。
• 消融实验表明，所提出的重映射策略优于随机初始化或非结构化初始化，且在多个基准上均表现出一致的性能增益。