[論文レビュー] CE-FPN: Enhancing Channel Information for Object Detection

Yihao Luo, Xiang Cao+6 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Neural Network Applications被引用数 10

ひとこと要約

本稿では、サブピクセルスキップ統合、サブピクセルコンテキスト強化、およびチャネル注意誘導モジュールを導入することで、チャネル情報の損失とアリasing効果を軽減する新しい特徴ピラミッドネットワークであるCE-FPNを提案する。これらのモジュールは、最小限の計算コストでチャネル情報の損失とアリasing効果を軽減し、特徴表現を向上させ、MS COCOで37.5 APを達成し、ベースラインFaster R-CNNと最先端手法を上回る性能を発揮するが、推論速度の低下はわずかである。

ABSTRACT

Feature pyramid network (FPN) has been an effective framework to extract multi-scale features in object detection. However, current FPN-based methods mostly suffer from the intrinsic flaw of channel reduction, which brings about the loss of semantical information. And the miscellaneous fused feature maps may cause serious aliasing effects. In this paper, we present a novel channel enhancement feature pyramid network (CE-FPN) with three simple yet effective modules to alleviate these problems. Specifically, inspired by sub-pixel convolution, we propose a sub-pixel skip fusion method to perform both channel enhancement and upsampling. Instead of the original 1x1 convolution and linear upsampling, it mitigates the information loss due to channel reduction. Then we propose a sub-pixel context enhancement module for extracting more feature representations, which is superior to other context methods due to the utilization of rich channel information by sub-pixel convolution. Furthermore, a channel attention guided module is introduced to optimize the final integrated features on each level, which alleviates the aliasing effect only with a few computational burdens. Our experiments show that CE-FPN achieves competitive performance compared to state-of-the-art FPN-based detectors on MS COCO benchmark.

研究の動機と目的

• FPNベースのオブジェクト検出器におけるチャネル削減の根本的問題を解決すること。
• 特徴ピラミッドネットワークにおける直接的なスケール間特徴統合によって引き起こされるアリasing効果を低減すること。
• 高レベルのバックボーン特徴から得られる豊富なチャネル情報を十分に活用して特徴表現を向上させること。
• 計算コストを著しく増加させない軽量モジュールを設計し、性能を向上させること。
• 提案されたモジュールがさまざまなFPNベースの検出器およびバックボーンネットワークに一般化可能かどうかを検証すること。

提案手法

• サブピクセルスキップ統合（SSF）は、サブピクセル畳み込みを用いてアップサンプリングとチャネル強化を同時に実行し、バックボーンからの高次元特徴マップを保持する。
• サブピクセルコンテキスト強化（SCE）は、最高レベルの特徴マップからサブピクセル畳み込みを用いて多様な受容野を持つコンテキスト特徴を抽出・統合し、深さの増加なしに表現を強化する。
• チャネル注意誘導モジュール（CAG）は、統合マップからチャネルごとの注意重みを計算し、各レベルの特徴を精緻化することで、アリasing効果を低減するが、オーバーヘッドは小さい。
• 標準的な1×1畳み込みや線形アップサンプリングを避けて、チャネルの豊かさと空間解像度を維持するサブピクセル操作を採用する。
• すべてのモジュールを統合されたFPNフレームワークに統合し、標準的なFPNの部品をチャネル強化型の代替品に置き換える。
• 設計は効率性を最優先とし、標準FPNと比較してFLOPsおよびパラメータ数の増加はわずかである。

実験結果

リサーチクエスチョン

• RQ1 サブピクセル畳み込みを、FPNにおける特徴アップサンプリング段階でチャネル情報を強化するために再利用可能か？
• RQ2 高レベルの特徴マップをサブピクセル操作で活用することで、オブジェクト検出性能が向上するか？
• RQ3 統合された特徴マップに基づくチャネル注意メカニズムは、スケール間特徴統合におけるアリasing効果を低減できるか？
• RQ4 提案されたモジュールは、MS COCOでの性能をどの程度向上させ、推論速度を維持できるか？
• RQ5 これらのモジュールは、さまざまなFPNベースの検出器およびバックボーンネットワークに一般化可能か？

主な発見

• CE-FPNはMS COCO val-2017で37.5 APを達成し、ベースラインFaster R-CNN（36.1 AP）を1.4 AP上回った。
• サブピクセルコンテキスト強化（SCE）モジュールは、PSPNetよりも0.3 AP高く、CEMよりも0.2 AP高い性能を示し、優れたコンテキスト表現能力を示した。
• チャネル注意誘導モジュール（CAG）は、ベースラインと比較して1.0 AP向上させ、統合のみまたは部分的注意構成よりも優れた性能を発揮した。
• 完全なCE-FPNモデルは、ベースラインと比較してFLOPsが0.7%増加、パラメータ数が0.1%増加に留まり、高い効率性を示した。
• ResNet-50を用いた場合、推論速度は10.5 fpsから9.8 fpsに6.67%低下したが、AugFPNと比較して17.2%の低下にとどまり、優れた性能を発揮した。
• アブレーションスタディの結果、$F_5$と$P_5$を削除しても性能が低下しなかったため、提案されたモジュールが冗長な構成を含まずに有効であることが検証された。