[論文レビュー] Centralized Feature Pyramid for Object Detection

Quan Yu, Dong Zhang+2 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、軽量なMLPと学習可能な視覚的中心を用いて、グローバルな長距離依存関係と局所的なコーナー領域を明示的にモデル化することで、特徴表現を向上させる中央集権的特徴パラレル（CFP）を提案する。上位から下位へのトップダウン的アプローチで特徴パラレルにグローバルに集中する制御を適用することにより、MS-COCO上でYOLOv5およびYOLOXベースラインに対して一貫したmAP向上を達成し、最大2.7%のmAP向上と、EfficientDet-D3よりも1.8倍高速な推論を実現した。

ABSTRACT

Visual feature pyramid has shown its superiority in both effectiveness and efficiency in a wide range of applications. However, the existing methods exorbitantly concentrate on the inter-layer feature interactions but ignore the intra-layer feature regulations, which are empirically proved beneficial. Although some methods try to learn a compact intra-layer feature representation with the help of the attention mechanism or the vision transformer, they ignore the neglected corner regions that are important for dense prediction tasks. To address this problem, in this paper, we propose a Centralized Feature Pyramid (CFP) for object detection, which is based on a globally explicit centralized feature regulation. Specifically, we first propose a spatial explicit visual center scheme, where a lightweight MLP is used to capture the globally long-range dependencies and a parallel learnable visual center mechanism is used to capture the local corner regions of the input images. Based on this, we then propose a globally centralized regulation for the commonly-used feature pyramid in a top-down fashion, where the explicit visual center information obtained from the deepest intra-layer feature is used to regulate frontal shallow features. Compared to the existing feature pyramids, CFP not only has the ability to capture the global long-range dependencies, but also efficiently obtain an all-round yet discriminative feature representation. Experimental results on the challenging MS-COCO validate that our proposed CFP can achieve the consistent performance gains on the state-of-the-art YOLOv5 and YOLOX object detection baselines.

研究の動機と目的

• 既存の特徴パラレルが層内特徴の制御、特に密度予測タスクにおいて重要なコーナー領域を無視するという限界に対処すること。
• 統一されたフレームワーク内でグローバルな長距離依存関係と局所的なコーナー特徴を明示的にモデル化することで、特徴表現を向上させること。
• 計算コストを増加させることなく、最先端のオブジェクト検出器を向上させられる、軽量で効率的かつ汎用性の高い手法を開発すること。
• 視覚的中心情報に基づくグローバルに明示的な集中型メカニズムを導入することで、特徴パラレルにおけるより良い特徴制御を実現すること。

提案手法

• 軽量なMLPを用いてグローバルな長距離依存関係を捉え、並列して学習可能な視覚的中心を用いて局所的なコーナー領域をモデル化する明示的視覚的中心（EVC）モジュールを提案する。
• 最深の層内視覚的中心を用いて、上位から下位へのトップダウン的アプローチで前面の浅い特徴を制御するグローバルに集中する制御（GCR）メカニズムを導入する。
• 深層特徴からの明示的視覚的中心が、パラレル全体にわたる浅い特徴の強化を導くトップダウン型の特徴精錬戦略を採用する。
• YOLOv5およびYOLOXにおけるような既存の特徴パラレルアーキテクチャにEVCとGCRを統合し、バックボーンの変更なしに適用可能である。
• 空間的コーナーに適応的に注目する学習可能な視覚的中心メカニズムを活用し、識別性の高い局所的詳細を保持する。
• CFPモジュールをプラグアンドプレイ形式で統合し、さまざまなYOLOベースの検出器において一貫した性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな長距離依存関係と局所的なコーナー領域の明示的モデリングが、オブジェクト検出における特徴表現を向上させることができるか？
• RQ2 視覚的中心情報に基づく集中型制御メカニズムが、トップダウン的アプローチで特徴パラレルの性能を向上させることができるか？
• RQ3 提案されたCFP手法が、FLOPsを増加させることなく、多様なYOLOベースのオブジェクト検出モデルで一貫したmAP向上を達成できるか？
• RQ4 ベースラインおよびアテンションベースの手法と比較して、CFPは小形または隠蔽されたオブジェクトの検出においてどれほど効果的か？
• RQ5 EVCとGCRの統合が、密度予測タスクにおける特徴の識別性および文脈的理解をどの程度向上させるか？

主な発見

• CFPはMS-COCO上でYOLOv4-CSPに対して最大2.7%のmAP向上を達成し、さまざまなモデルスケールで一貫した向上を示した。
• CFP${}_{\textrm{YOLOX-L}}$は49.40%のmAPを達成し、YOLOX-Lよりも1.6%高いが、EfficientDet-D3よりも1.8倍高速な推論を実現した。
• CFP${}_{\textrm{YOLOv5-M}}$はEfficientDet-D2と同等の平均精度を達成しながら、推論速度が1.5倍速くなった。
• 定性的な結果から、CFPは、ベースラインモデルが失敗するような隠蔽されたり遠く離れたオブジェクト（例：ゾウ、キャビネット内のコップ）の検出を効果的に行えることが示された。
• EVCモジュールは、特に隠蔽や照明変化がある複雑なシーンにおいて、文脈理解が不十分なため発生する検出失敗を低減した。
• GCRメカニズムは、深層の視覚的中心信号を用いて浅い特徴を制御することで、特徴の識別性を向上させ、局所化と分類の精度を両方向上させた。