[论文解读] Computation Reallocation for Object Detection

Feng Liang, Lin Chen+5 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Neural Network Applications参考文献 32被引用 30

一句话总结

该论文提出CR-NAS，一种神经架构搜索框架，可自主在目标检测主干网络中重新分配不同特征分辨率和空间位置的计算量，在不增加FLOPs的前提下提升检测精度。通过学习最优计算分配策略，该方法在ResNet50和MobileNetV2上分别实现1.9%和1.7%的COCO AP提升，采用两级重分配空间与分层搜索机制，展现出对其他检测头、数据集（如PASCAL VOC）以及实例分割等任务的强大迁移能力。

ABSTRACT

The allocation of computation resources in the backbone is a crucial issue in object detection. However, classification allocation pattern is usually adopted directly to object detector, which is proved to be sub-optimal. In order to reallocate the engaged computation resources in a more efficient way, we present CR-NAS (Computation Reallocation Neural Architecture Search) that can learn computation reallocation strategies across different feature resolution and spatial position diectly on the target detection dataset. A two-level reallocation space is proposed for both stage and spatial reallocation. A novel hierarchical search procedure is adopted to cope with the complex search space. We apply CR-NAS to multiple backbones and achieve consistent improvements. Our CR-ResNet50 and CR-MobileNetV2 outperforms the baseline by 1.9% and 1.7% COCO AP respectively without any additional computation budget. The models discovered by CR-NAS can be equiped to other powerful detection neck/head and be easily transferred to other dataset, e.g. PASCAL VOC, and other vision tasks, e.g. instance segmentation. Our CR-NAS can be used as a plugin to improve the performance of various networks, which is demanding.

研究动机与目标

• 解决目标检测主干网络中计算分配次优的问题，这些问题通常继承自图像分类网络。
• 开发一种直接在检测数据集上学习计算重分配策略的方法，而非依赖分类任务的先验知识。
• 通过优化不同特征分辨率和空间位置之间的有效感受野（ERF）平衡，提升检测性能。
• 设计一种高效、可迁移且适用于多种主干网络架构与检测任务的搜索框架。

提出的方法

• 提出两级计算重分配空间：在特征分辨率之间进行阶段级重分配，以及在空间位置之间进行操作级重分配。
• 引入分层搜索流程，通过复用模型降低阶段级搜索成本，并适应不同的计算预算。
• 采用专为目标检测设计的新颖搜索空间，重点关注ERF平衡与尺度方差处理。
• 使用可微搜索策略，联合优化各阶段与空间位置的计算分配。
• 直接在COCO检测数据上应用搜索流程，以学习任务特定的计算分布。
• 将发现的架构作为插件复用于提升多种检测头、颈部结构及模型。

实验结果

研究问题

• RQ1 在不增加FLOPs的前提下，通过在特征分辨率和空间位置之间重新分配计算量，能否提升目标检测性能？
• RQ2 在检测主干网络中，不同特征图上的有效感受野（ERF）分布如何变化？是否可被优化？
• RQ3 直接在检测数据上训练的NAS框架，能否在目标检测中超越基于分类任务启发的主干网络？
• RQ4 计算重分配策略在不同检测模型、数据集和任务之间可迁移的程度如何？
• RQ5 是否存在分类准确率与检测性能之间的脱节，而计算重分配能否弥合这一差距？

主要发现

• CR-ResNet50在COCO上达到38.3%的AP，相比基线提升1.9%，且未增加任何额外FLOPs。
• CR-MobileNetV2在相同计算预算下达到33.9%的COCO AP，相比基线提升1.7%。
• 仅阶段重分配组件在多个模型（包括MobileNetV2、ResNet18、ResNet50、ResNet101和ResNeXt）上平均提升AP 1.0%。
• 在通过Mask R-CNN迁移至实例分割任务时，CR-ResNet50使COCO分割AP提升1.3%，边界框AP提升1.5%。
• 在PASCAL VOC数据集上，CR-ResNet50相比基线实现1.0%的mAP@0.5提升。
• 当与NAS-FPN颈部结构及Cascade Mask R-CNN结合时，CR-ResNet101达到44.5%的AP，相比基线提升1.2%。