[論文レビュー] OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection

Tingting Liang, Yongtao Wang+3 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Neural Network Applications参考文献 33被引用数 5

ひとこと要約

OPANASは、オブジェクト検出のためのワンショットニューラルアーキテクチャサーチフレームワークを提案する。本手法は、6つの異種の情報パス（上向き、下向き、融合・分割、スケール等化、スキップ接続、なし）を備えた、密度的に接続された探索空間を設計し、最適な特徴ピラミッドネットワーク（FPN）を発見する。フェアサンプリングとエッジ重要度重み付けを用いてスーパーネットを訓練し、進化計算アルゴリズムで最良のサブネットを探索することで、MS-COCOで4 GPU日という低い探索コストで、52.2% mAP（7.6 FPS）という最先端の精度を達成した。従来のNAS手法と比較して、精度と効率の両面で優れている。

ABSTRACT

Recently, neural architecture search (NAS) has been exploited to design feature pyramid networks (FPNs) and achieved promising results for visual object detection. Encouraged by the success, we propose a novel One-Shot Path Aggregation Network Architecture Search (OPANAS) algorithm, which significantly improves both searching efficiency and detection accuracy. Specifically, we first introduce six heterogeneous information paths to build our search space, namely top-down, bottom-up, fusing-splitting, scale-equalizing, skip-connect and none. Second, we propose a novel search space of FPNs, in which each FPN candidate is represented by a densely-connected directed acyclic graph (each node is a feature pyramid and each edge is one of the six heterogeneous information paths). Third, we propose an efficient one-shot search method to find the optimal path aggregation architecture, that is, we first train a super-net and then find the optimal candidate with an evolutionary algorithm. Experimental results demonstrate the efficacy of the proposed OPANAS for object detection: (1) OPANAS is more efficient than state-of-the-art methods (e.g., NAS-FPN and Auto-FPN), at significantly smaller searching cost (e.g., only 4 GPU days on MS-COCO); (2) the optimal architecture found by OPANAS significantly improves main-stream detectors including RetinaNet, Faster R-CNN and Cascade R-CNN, by 2.3-3.2 % mAP comparing to their FPN counterparts; and (3) a new state-of-the-art accuracy-speed trade-off (52.2 % mAP at 7.6 FPS) at smaller training costs than comparable state-of-the-arts. Code will be released at https://github.com/VDIGPKU/OPANAS.

研究の動機と目的

• 既存のNASベースのFPNが、しばしば過大な計算コストを要するか、特定のトレーニング設定に特化していることによる非効率性と、柔軟性の不足を是正すること。
• 単純なチェーン型アグリゲーションを超えた、多様な情報フロー様式をサポートする、より豊富で柔軟なFPN探索空間を設計すること。
• 強力な一般化性能を示す、迅速かつ正確に最適なFPNアーキテクチャを発見可能な、効率的なワンショットNAS手法を開発すること。
• スーパーネットの性能と実際のサブネット精度との相関を向上させ、信頼できるアーキテクチャサーチを実現すること。

提案手法

• 探索空間は、各ノードが特徴ピラミッドレベルを表し、各エッジが6つの異種の情報パス（上向き、下向き、融合・分割、スケール等化、スキップ接続、なし）のいずれかに対応する、密度的に接続された有向無閉路グラフ（DAG）として定義される。
• 4つのパラメータ付きパス（上向き、下向き、融合・分割、スケール等化）と2つのパラメータフリーのパス（スキップ接続、なし）を設計し、豊富で解釈可能かつ効率的な特徴アグリゲーションを実現する。
• フェアサンプリングとエッジ重要度重み付けを用いてスーパーネットを訓練することで、トレーニングの安定化と、スーパーネットとサブネットの性能の相関の向上を図る。
• 進化計算アルゴリズムを用いて、訓練済みのスーパーネットから最適なサブネットを探索し、アーキテクチャ空間全体のグローバル探索を可能にする。
• ワンショットパラダイムを採用：一度だけスーパーネットをトレーニングし、その後再トレーニングなしで最良のアーキテクチャを探索する。

Figure 1: Different FPN architectures: (a) FPN [ 17 ] , (b) PANet [ 21 ] , (c) Libra R-CNN [ 23 ] , (d) SEPC-Neck [ 28 ] , (e) BiFPN [ 25 ] , and (f) our searched optimal FPN.

実験結果

リサーチクエスチョン

• RQ1 より豊富で密度的に接続されたFPN探索空間を持つワンショットNASフレームワークは、従来のNASベースのFPNを上回る精度と効率を達成できるか？
• RQ2 上向き、下向き、融合・分割などの複数の異種情報パスの統合が、最終的なFPNアーキテクチャの性能に与える影響はいかほどか？
• RQ3 エッジ重要度重み付けとフェアサンプリングは、FPN用ワンショットNASにおけるスーパーネットランク付けの信頼性をどの程度向上させるか？
• RQ4 提案手法は、顕著に低減された探索コストで、オブジェクト検出における最先端の精度-速度トレードオフを達成できるか？

主な発見

• OPANASは、MS-COCOで52.2% mAP（7.6 FPS）を達成し、FPNベースの検出器において、新たな最先端の精度-速度トレードオフを確立した。
• 本手法は、MS-COCOで4 GPU日という探索コストにまで低減され、NAS-FPN や Auto-FPN といった先行手法よりも顕著に低い。
• RetinaNet、Faster R-CNN、Cascade R-CNN は、それぞれのFPN対応バージョンに対して2.3–3.2% mAPの向上を達成し、強力な一般化性能を示した。
• 探索されたアーキテクチャは、COCO minivalで39.6% mAP（197G FLOPs、35.5Mパラメータ）を達成し、同じ探索空間内でのSPOS（38.4%）、DARTS（39.1%）、Fair DARTS（39.4%）を上回った。
• フェアサンプリングとエッジ重要度重み付けを適用した場合、スーパーネットとサブネットの性能相関は0.6145に達し、標準的なワンショットNASに比べ信頼性が顕著に向上した。

Figure 2: 1. Single-path FPN super-net from SPOS search space [ 12 ] . 2. Our OPANAS: (a) super-net training, i.e. , the optimization of super-net weights; (b) optimal sub-net search with an evolutionary algorithm; (c) the searched optimal architecture. Note that two information paths (skip-connect