[论文解读] Efficient Neural Architecture Transformation Searchin Channel-Level for Object Detection

Junran Peng, Ming Sun+3 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Neural Network Applications参考文献 46被引用 10

一句话总结

本文提出 NATS，一种基于梯度的神经架构变换搜索方法，通过使用空洞卷积搜索最优通道级变换，将预训练的图像分类网络适配于目标检测任务。通过在搜索和微调阶段重用 ImageNet 预训练权重，NATS 在 COCO 上实现最高 2.0% 的 AP 提升，且无需额外参数或 FLOPs，从而实现高效、硬件友好的实时检测系统部署。

ABSTRACT

Recently, Neural Architecture Search has achieved great success in large-scale image classification. In contrast, there have been limited works focusing on architecture search for object detection, mainly because the costly ImageNet pre-training is always required for detectors. Training from scratch, as a substitute, demands more epochs to converge and brings no computation saving. To overcome this obstacle, we introduce a practical neural architecture transformation search(NATS)algorithm for object detection in this paper. Instead of searching and constructing an entire network, NATS explores the architecture space on the base of existing network and reusing its weights. We propose a novel neural architecture search strategy in channel-level instead of path-level and devise a search space specially targeting at object detection. With the combination of these two designs, an architecture transformation scheme could be discovered to adapt a network designed for image classification to task of object detection. Since our method is gradient-based and only searches for a transformation scheme, the weights of models pretrained inImageNet could be utilized in both searching and retraining stage, which makes the whole process very efficient. The transformed network requires no extra parameters and FLOPs, and is friendly to hardware optimization, which is practical to use in real-time application. In experiments, we demonstrate the effectiveness of NATSon networks like ResNet and ResNeXt. Our transformed networks, combined with various detection frameworks, achieve significant improvements on the COCO dataset while keeping fast.

研究动机与目标

• 为解决从零开始训练目标检测器或在无预训练的情况下微调大尺寸主干网络的低效问题。
• 通过设计任务特定的架构搜索空间，弥合图像分类与目标检测之间的差距。
• 实现高效、基于梯度的架构搜索，使 ImageNet 预训练权重在搜索和微调阶段均可重用。
• 通过变换现有主干网络而不增加参数或 FLOPs，提升 COCO 上的目标检测性能。
• 开发一种聚焦于通道级操作和空洞模式的搜索策略，以增强多尺度目标检测的有效感受野。

提出的方法

• 提出一种通道级搜索策略，将每条路径的特征图划分为通道级子路径，将其视为可搜索单元。
• 设计基于空洞卷积的搜索空间，采用多种空洞率以在不改变卷积核大小的前提下扩展有效感受野。
• 采用可微分、基于梯度的搜索方法，发现能够重新配置现有网络结构的最优变换方案。
• 在整个搜索和微调阶段重用 ImageNet 预训练权重，避免了昂贵的预训练或额外参数的需要。
• 将学习到的变换方案应用于现有主干网络（如 ResNet 和 ResNeXt），以极低的计算开销将其适配于目标检测任务。
• 采用优先关注通道级特征流结构变化的搜索策略，实现对高性能配置的高效探索。

实验结果

研究问题

• RQ1 能否设计一种基于梯度的架构搜索方法，以高效方式将预训练的图像分类网络适配于目标检测任务，而无需从头开始训练？
• RQ2 如何重新定义搜索空间，以更好地满足目标检测的需求，特别是应对多尺度目标变化的挑战？
• RQ3 通过空洞操作扩展有效感受野（ERF）在多大程度上能提升检测性能？
• RQ4 基于变换的方法能否在不增加参数或 FLOPs 的前提下实现显著的性能提升？
• RQ5 所学习到的架构变换在不同检测框架和主干网络深度上具有多大程度的泛化能力？

主要发现

• NATS 在 COCO 上将 Faster R-CNN 与 ResNet-50 配合使用时提升 2.0% AP，与 ResNet-101 配合时提升 1.8% AP，且不增加参数或 FLOPs。
• 使用相同的变换主干网络，该方法在 Mask R-CNN 上实现 1.9% AP 提升，在 Cascade R-CNN 和 RetinaNet 上分别实现 1.3% 的 AP 提升。
• 搜索过程仅需在 8× 1080Ti GPU 上运行 2.5 天，微调阶段仅需 1 天，与训练基线模型的时间相当。
• 变换后的网络展现出更大且更鲁棒的有效感受野（ERF），具有更强的中心强度和对外部区域更优的覆盖能力。
• 该方法在更深模型上具有泛化能力：ResNeXt-101 实现 1.1% 的 AP 提升，且更深网络在大目标 AP（AP_L）上受益更多。
• 具有不同长宽比的空洞候选（如 (1,3)、(3,1)）相比均匀候选可提升 0.4% 性能，证明了 ERF 多样性的重要性。