[論文レビュー] Parallel Residual Bi-Fusion Feature Pyramid Network for Accurate Single-Shot Object Detection

Ping-Yang Chen, Ming‐Ching Chang+2 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 69被引用数 118

ひとこと要約

本稿では、新規のConcatenation and Re-organization (CORE)モジュールとリーマン型設計を用いて、並列かつ双方向（トップダウンおよびボトムアップ）の経路を介して特徴マップの統合を向上させる、新しい1段階物体検出フレームワークであるParallel Residual Bi-Fusion Feature Pyramid Network (PRB-FPN)を提案する。PRB-FPNは、CSPDarknet-53を用いた800×800入力でMS COCOで48.9% AP、UAVDT17で59.4% APを達成し、YOLOv7や他のSoTAモデルを上回る精度を発揮しながらも、リアルタイム推論性能を維持している。

ABSTRACT

This paper proposes the Parallel Residual Bi-Fusion Feature Pyramid Network (PRB-FPN) for fast and accurate single-shot object detection. Feature Pyramid (FP) is widely used in recent visual detection, however the top-down pathway of FP cannot preserve accurate localization due to pooling shifting. The advantage of FP is weakened as deeper backbones with more layers are used. In addition, it cannot keep up accurate detection of both small and large objects at the same time. To address these issues, we propose a new parallel FP structure with bi-directional (top-down and bottom-up) fusion and associated improvements to retain high-quality features for accurate localization. We provide the following design improvements: (1) A parallel bifusion FP structure with a bottom-up fusion module (BFM) to detect both small and large objects at once with high accuracy. (2) A concatenation and re-organization (CORE) module provides a bottom-up pathway for feature fusion, which leads to the bi-directional fusion FP that can recover lost information from lower-layer feature maps. (3) The CORE feature is further purified to retain richer contextual information. Such CORE purification in both top-down and bottom-up pathways can be finished in only a few iterations. (4) The adding of a residual design to CORE leads to a new Re-CORE module that enables easy training and integration with a wide range of deeper or lighter backbones. The proposed network achieves state-of-the-art performance on the UAVDT17 and MS COCO datasets. Code is available at https://github.com/pingyang1117/PRBNet_PyTorch.

研究の動機と目的

• 畳み込み層のプーリングによる解像度損失のため、標準的な特徴マップピラミッドネットワーク（FPNs）が小形および大形物体の正確な検出に限界を示す問題に対処すること。
• 高レベルの意味的特徴と低レベルの空間的詳細を両方保持する双方向統合機構を導入することで、特徴表現を向上させること。
• 融合パスウェイにリーマン型設計を組み込むことで、学習の安定性とバックボーンとの統合性を向上させること。
• エッジデバイスへのデプロイに適したリアルタイム推論速度を維持しつつ、高い検出精度を達成すること。

提案手法

• P3、P4、P5の3つの特徴マップピラミッドレベルを同時に統合する並列バイフュージョン構造を提案。ボトムアップ統合モジュール（BFM）を用いて、小形および大形物体の検出を向上させる。
• 隣接層からの特徴を再帰的に統合できるようにするため、Concatenation and Re-organization (CORE)モジュールを導入。これにより、効率的なボトムアップ情報伝搬と文脈的特徴の回復が可能になる。
• COREモジュールにリーマン型設計（Re-CORE）を適用し、学習の安定性を向上させるとともに、より深いおよびより軽量なアーキテクチャを含むさまざまなバックボーンとのシームレスな統合を可能にする。
• 従来の連結ベースの統合によるメモリ爆発を回避するため、並列アーキテクチャを採用。これにより、効率性を保ちながら特徴品質を向上させる。
• COREモジュールをトップダウンおよびボトムアップ両方のパスに適用し、反復的な特徴の浄化を実現。これにより、豊富な文脈的情報と局所化情報が保持される。
• 複数のパスを用いた統合戦略を採用。これにより、3つの予測マップを並列に生成でき、速度を犠牲にせずに検出精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 並列かつ双方向の特徴統合機構は、1段階検出器における小形および大形物体の検出精度を向上させることができるか？
• RQ2 COREモジュールは、再帰的なボトムアップ統合と文脈的情報回復を可能にすることで、特徴表現をどのように向上させるか？
• RQ3 COREモジュールに組み込まれたリーマン型設計は、学習の安定性とバックボーンとの互換性をどの程度向上させるか？
• RQ4 提案されたPRB-FPNは、MS COCOやUAVDT17といった標準ベンチマークで最先端の性能を達成するか？また、リアルタイム推論速度を維持しているか？
• RQ5 PRB-FPNは、BiFPN や PANet といった既存の双方向FPNと比較して、精度および効率性の面で優れているか？

主な発見

• CSPDarknet-53を用いた800×800入力で、MS COCOのtest-devで48.9% APを達成。YOLOv7-E6Eや他のSoTA1段階検出器を上回っている。
• 同じベンチマークで、ResNet-50と800×800入力で46.1% APを達成。AB+FSAF や Cascade R-CNN といった以前のSoTAモデルを上回っている。
• PRB-FPN6バージョンでは、COCOで大形物体（APL）に対して55.9% APを達成。大規模なインスタンスに対して優れた性能を示している。
• リアルタイム推論速度を維持。ResNet-50では15.9 FPS、CSPDarknet-53では11.6 FPSを達成（800×800入力）。エッジデバイスへのデプロイに適した効率性を示している。
• 視覚的比較では、曇りや遮蔽のある状況でもPRB-FPN6がYOLOv7-E6Eを上回り、小形および重度に遮蔽された物体を効果的に検出している。
• 広範なアブレーションスタディにより、COREモジュールとリーマン型設計が特徴品質と学習収束性を顕著に向上させていることが確認された。