[論文レビュー] Residual Bi-Fusion Feature Pyramid Network for Accurate Single-shot Object Detection

Ping-Yang Chen, Jun-Wei Hsieh+3 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、深層の意味的特徴と浅層の空間的に正確な特徴を双方向的で残差接続を用いた方法で統合することで、1ショットオブジェクト検出の性能を向上させる、残差バイフュージョン特徴ピラミッドネットワーク（RBF-FPN）を提案する。従来のトップダウン型特徴ピラミッドではプーリング操作に起因する位置ずれの問題や、小サイズオブジェクトの検出性能の低下が生じるが、RBF-FPNは正確な局所化を維持しながら、さまざまなオブジェクトスケールにおける精度を向上させ、バックボーンの変更を最小限に抑えつつ、VOCおよびMS COCOデータセットで最先端の性能を達成する。

ABSTRACT

State-of-the-art (SoTA) models have improved the accuracy of object detection with a large margin via a FP (feature pyramid). FP is a top-down aggregation to collect semantically strong features to improve scale invariance in both two-stage and one-stage detectors. However, this top-down pathway cannot preserve accurate object positions due to the shift-effect of pooling. Thus, the advantage of FP to improve detection accuracy will disappear when more layers are used. The original FP lacks a bottom-up pathway to offset the lost information from lower-layer feature maps. It performs well in large-sized object detection but poor in small-sized object detection. A new structure "residual feature pyramid" is proposed in this paper. It is bidirectional to fuse both deep and shallow features towards more effective and robust detection for both small-sized and large-sized objects. Due to the "residual" nature, it can be easily trained and integrated to different backbones (even deeper or lighter) than other bi-directional methods. One important property of this residual FP is: accuracy improvement is still found even if more layers are adopted. Extensive experiments on VOC and MS COCO datasets showed the proposed method achieved the SoTA results for highly-accurate and efficient object detection..

研究の動機と目的

• プーリング操作に起因する位置ずれの問題により、深層特徴ピラミッドで検出精度が低下するのを是正すること。
• トップダウン型特徴集約によって失われた空間的正確性を回復させることで、小オブジェクト検出性能を向上させること。
• 意味的強化と局所化精度の両方を向上させる、双方向的で残差的な特徴統合メカニズムを設計すること。
• より深いまたは軽量のバックボーンが使用されても、依然として有効で訓練可能であることを保証すること。
• 推論効率を犠牲にすることなく、1ショットオブジェクト検出で最先端の精度を達成すること。

提案手法

• 浅層と深層の特徴の間に残差接続を導入することで、訓練の安定化とさまざまなバックボーンとの統合を可能にする、残差バイフュージョン特徴ピラミッド（RBF-FPN）を提案する。
• ボトムアップとトップダウンの両方のパスウェイを組み合わせることで、空間的詳細と意味的豊かさを両立させる。
• 双方向の特徴統合を採用：ボトムアップパスウェイはトップダウンのアップサンプリングで失われた空間情報を回復し、トップダウンパスウェイは意味的理解を強化する。
• 要素ごとの残差接続を用いることで、勾配の流れを確保し、訓練中の消失勾配問題を緩和する。
• デコンボリューションによるアップサンプリングとスキップ接続を用いた特徴統合を、複数のスケールで実施する。
• モジュール型アーキテクチャを設計し、より深いまたは軽量のバックボーンネットワークとも互換性を持たせる。

実験結果

リサーチクエスチョン

• RQ1 双方向的特徴統合メカニズムは、1ショット検出器における小オブジェクトおよび大オブジェクトの両方の検出精度を向上させることができるか？
• RQ2 特徴ピラミッドにおける残差学習は、トップダウンパスウェイのプーリングに起因する位置ずれ問題を緩和できるか？
• RQ3 より深いまたは軽量のバックボーンが使用されても、提案手法は精度を維持または向上させることができるか？
• RQ4 標準的なベンチマークにおいて、RBF-FPNの残留バイフュージョン構造は、標準的な特徴ピラミッドネットワークと比較して、局所化精度とmAPの両面で優れているか？
• RQ5 RBF-FPNの性能向上は、特に小オブジェクトにおいて一貫して得られるか？

主な発見

• 提案されたRBF-FPNは、MS COCOデータセットで最先端のmAPを達成し、既存の1ショットオブジェクト検出器を上回る性能を示した。
• VOC 2007およびVOC 2012のベンチマークでは、それぞれmAPが84.1%および84.3%を達成し、以前の最先端手法を上回った。
• より深いまたは軽量のバックボーンが使用されても、一貫した精度向上が得られ、優れた一般化性能を示した。
• 双方向統合による空間的詳細の良好な保持のおかげで、小オブジェクト検出性能が顕著に向上した。
• 残差設計により、より深い特徴ピラミッドでも安定した訓練と効果的な特徴学習が可能になった。
• 広範なアブレーションスタディの結果、バイフュージョンおよび残差の両成分が性能向上に不可欠であることが確認された。