[論文レビュー] MultiResolution Attention Extractor for Small Object Detection

Fan Zhang, Licheng Jiao+3 more|arXiv (Cornell University)|Jun 10, 2020

Advanced Neural Network Applications参考文献 24被引用数 8

ひとこと要約

本論文では、複数スケールの特徴マップにわたり関連する特徴に適応的に注目するための注目メカニズムを活用して、小サイズオブジェクト検出を向上させる、プラグアンドプレイ型の特徴抽出器であるMultiResolution Attention Extractor（MRAE）を提案する。各バックボーンブロックの後に軽量な注目モジュールを統合することで、小サイズオブジェクトの特徴表現を向上させ、COCOの小サイズオブジェクト検出ベンチマークにおいてハード注目ベースライン比で2.0×のAP向上を達成し、優れた精度と効率性を示した。

ABSTRACT

Small objects are difficult to detect because of their low resolution and small size. The existing small object detection methods mainly focus on data preprocessing or narrowing the differences between large and small objects. Inspired by human vision "attention" mechanism, we exploit two feature extraction methods to mine the most useful information of small objects. Both methods are based on multiresolution feature extraction. We initially design and explore the soft attention method, but we find that its convergence speed is slow. Then we present the second method, an attention-based feature interaction method, called a MultiResolution Attention Extractor (MRAE), showing significant improvement as a generic feature extractor in small object detection. After each building block in the vanilla feature extractor, we append a small network to generate attention weights followed by a weighted-sum operation to get the final attention maps. Our attention-based feature extractor is 2.0 times the AP of the "hard" attention counterpart (plain architecture) on the COCO small object detection benchmark, proving that MRAE can capture useful location and contextual information through adaptive learning.

研究の動機と目的

• 画像内の低解像度および限られた文脈的特徴のため、小サイズオブジェクトを検出する課題に対処すること。
• データ拡張やGANベースの前処理に依存せずに、小サイズオブジェクトの特徴表現を向上させること。
• さまざまなオブジェクト検出器で性能向上を実現する汎用的で効率的かつ学習可能な特徴抽出器を開発すること。
• 人間の視覚的注目にインspiredされた注目メカニズムを用いて、小サイズオブジェクト検出における選択的特徴学習を実現すること。
• Faster R-CNNのような既存の2段階検出器に簡単に統合可能な、プラグアンドプレイ型モジュールを設計すること。

提案手法

• 本手法では、バニラな特徴抽出バックボーンの各ブロックの後に追加される軽量ネットワークとして、MultiResolution Attention Extractor（MRAE）を導入する。
• MRAEは、多スケールの特徴マップにわたる情報的な特徴に適応的に注目するための学習可能なモジュールを用いて注目重みを計算する。
• 注目重みを計算した後、重み付き和演算により特徴を統合し、小サイズオブジェクトの特徴を強化する洗練された注目マップを生成する。
• 本手法は当初ソフト注目メカニズムを用いるが、収束性を向上させるために、より安定的で効果的なハード注目ベースの特徴統合モジュールに移行する。
• MRAEは1段階および2段階検出器の両方と互換性があり、Faster R-CNNと組み合わせて特に効果的である。
• モデルは標準的な検出損失を用いてエンドツーエンドで学習され、バックプロパゲーション中に注目重みが学習され、顕著な空間的およびチャネルワイド特徴に注目する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張やGANベースのデータ合成に依存せずに、注目ベースの特徴抽出器が小サイズオブジェクト検出性能を向上させられるか？
• RQ2 学習可能な注目を用いたマルチスケール特徴統合は、固定または非学習可能な特徴統合手法と比較して、小サイズオブジェクト検出においてどのように異なるか？
• RQ3 提案されたMRAEモジュールは、ソフト注目ベースラインと比較して、収束性および性能面で優れているか？
• RQ4 標準ベンチマーク上でのAPおよびAR指標の観点から、MRAEは小サイズオブジェクトの特徴表現をどの程度向上させているか？
• RQ5 Faster R-CNNのような既存の2段階検出器に、アーキテクチャの大幅な見直しを加えずに、MRAEを効果的にプラグインモジュールとして使用できるか？

主な発見

• COCOの小サイズオブジェクト検出ベンチマークにおいて、MRAEはハード注目ベースライン比で2.0×のAP向上を達成し、顕著な性能向上を示した。
• COCOバリデーションセットでは、テンプレート2を用いたMRAEがAP 5.0、AR1 8.2を達成し、すべてのベースラインモデルおよびソフト注目バリアントを上回った。
• MRAEモデルは高い推論効率を維持しており、500×300の入力解像度下で1枚あたり16msの推論時間であった。
• ソフト注目バリアントは収束が不十分であったため、提案されたハード注目ベースの特徴統合メカニズムの必要性が浮き彫りになった。
• MRAEはAPのすべての指標で一貫して性能向上を示し、特に小サイズオブジェクト（AP^S）に対して顕著な改善を示し、最良の設定で4.8のAP^Sスコアを達成した。
• モデルはさまざまなバックボーン構成に対して一般化が良く、混合学習設定でも安定した性能を示し、3.5のAP^0.5:0.95スコアを維持した。