[論文レビュー] Computation Reallocation for Object Detection

Feng Liang, Lin Chen+5 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Neural Network Applications参考文献 32被引用数 30

ひとこと要約

本稿では、物体検出バックボーンにおいて特徴マップの解像度および空間的位置にわたって計算量を自律的に再割り当てする神経ネットワークアーキテクチャ探索フレームワーク、CR-NASを提案する。FLOPsを増加させることなく検出精度を向上させることを目的としており、ResNet50およびMobileNetV2でそれぞれ1.9%および1.7%のCOCO AP向上を達成した。これは、二段階の再割り当て空間と階層的探索を用いて最適な計算量配分を学習することで実現された。本手法は、他の検出ヘッド、データセット（例：PASCAL VOC）、およびインスタンスセグメンテーションなどのタスクに対しても強く汎用性を示した。

ABSTRACT

The allocation of computation resources in the backbone is a crucial issue in object detection. However, classification allocation pattern is usually adopted directly to object detector, which is proved to be sub-optimal. In order to reallocate the engaged computation resources in a more efficient way, we present CR-NAS (Computation Reallocation Neural Architecture Search) that can learn computation reallocation strategies across different feature resolution and spatial position diectly on the target detection dataset. A two-level reallocation space is proposed for both stage and spatial reallocation. A novel hierarchical search procedure is adopted to cope with the complex search space. We apply CR-NAS to multiple backbones and achieve consistent improvements. Our CR-ResNet50 and CR-MobileNetV2 outperforms the baseline by 1.9% and 1.7% COCO AP respectively without any additional computation budget. The models discovered by CR-NAS can be equiped to other powerful detection neck/head and be easily transferred to other dataset, e.g. PASCAL VOC, and other vision tasks, e.g. instance segmentation. Our CR-NAS can be used as a plugin to improve the performance of various networks, which is demanding.

研究の動機と目的

• 物体検出バックボーンにおける計算量の非最適な再割り当て問題に取り組むこと。これは通常、画像分類ネットワークから引き継がれるものである。
• 分類タスクの事前知識に依存せず、検出データセット上で直接計算量再割り当て戦略を学習する手法を開発すること。
• 異なる特徴マップ解像度および空間的位置における有効受容 field (ERF) のバランスを最適化することで、検出性能を向上させること。
• 効率的で、汎用性があり、多様なバックボーンアーキテクチャおよび検出タスクに適用可能な探索フレームワークを設計すること。

提案手法

• 特徴マップ解像度間での段階レベル再割り当てと、空間的位置間での演算レベル再割り当てを含む二段階の計算量再割り当て空間を提案する。
• 段階レベルの探索コストを低減し、計算量予算の変動に適応できるように、モデル再利用を活用した階層的探索手順を導入する。
• ERFのバランスとスケールばらつきの処理に焦点を当てた、物体検出に特化した新しい探索空間を採用する。
• 段階および空間的位置にわたる計算量再割り当てを同時に最適化できる微分可能探索戦略を用いる。
• COCO検出データ上で直接探索手順を適用し、タスク固有の計算量配分を学習する。
• 発見されたアーキテクチャをプラグインとして再利用し、多様な検出ヘッド、ネック、およびモデルを強化する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップ解像度および空間的位置にわたる計算量再割り当ては、FLOPsを増加させずに物体検出性能を向上させることができるか？
• RQ2 物体検出バックボーンにおける異なる特徴マップ上での有効受容 field (ERF) 分布はどのように変化するか？また、最適化可能か？
• RQ3 検出データ上で直接学習されたNASフレームワークは、分類に由来するバックボーンを上回る性能を示せるか？
• RQ4 計算量再割り当て戦略は、異なる検出モデル、データセット、タスク間でどの程度転送可能か？
• RQ5 分類精度と検出性能の間に乖離が生じているとすれば、計算量再割り当てはそのギャップを埋めることができるか？

主な発見

• CR-ResNet50は38.3%のCOCO APを達成し、ベースライン比で1.9%の向上を示したが、追加のFLOPsは一切増加していない。
• CR-MobileNetV2は33.9%のCOCO APを達成し、同じ計算量予算下でベースライン比1.7%の向上を示した。
• 段階再割り当てコンponentのみで、MobileNetV2、ResNet18、ResNet50、ResNet101、ResNeXtなど複数のモデルで平均1.0%のAP向上が達成された。
• Mask R-CNNによるインスタンスセグメンテーションに適用した場合、CR-ResNet50はCOCOセグメンテーションAPを1.3%、ボクシングボックスAPを1.5%向上させた。
• PASCAL VOCでは、CR-ResNet50がベースライン比1.0%のmAP@0.5向上を達成した。
• NAS-FPNネックおよびCascade Mask R-CNNを組み合わせたCR-ResNet101は44.5%のAPを達成し、ベースライン比1.2%の向上を示した。