[論文レビュー] Guided Attention Network for Object Detection and Counting on Drones

Yuanqiang Cai, Dawei Du+5 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 34被引用数 11

ひとこと要約

本稿では、ドローンベースの物体検出およびカウントに向けた、アンカーフリーなガイドドアテンションネットワーク（GANet）を提案する。弱い教師付き背景アテンション（BA）および前景アテンション（FA）モジュールを活用し、特徴表現を向上させる。BA、FA、および新たなデータオーグメンテーション戦略を組み合わせた場合、ベースライン比で7.8%のAP向上を達成し、UAVDT、CARPK、PUCPR+ベンチマークで最先端の性能を達成した。

ABSTRACT

Object detection and counting are related but challenging problems, especially for drone based scenes with small objects and cluttered background. In this paper, we propose a new Guided Attention Network (GANet) to deal with both object detection and counting tasks based on the feature pyramid. Different from the previous methods relying on unsupervised attention modules, we fuse different scales of feature maps by using the proposed weakly-supervised Background Attention (BA) between the background and objects for more semantic feature representation. Then, the Foreground Attention (FA) module is developed to consider both global and local appearance of the object to facilitate accurate localization. Moreover, the new data argumentation strategy is designed to train a robust model in various complex scenes. Extensive experiments on three challenging benchmarks (i.e., UAVDT, CARPK and PUCPR+) show the state-of-the-art detection and counting performance of the proposed method compared with existing methods.

研究の動機と目的

• 顕著なスケール変動および多様な照明条件を伴うドローン画像における小形でごみだらけの物体の検出とカウントの課題に対処すること。
• 多スケール特徴ピラミッドにおける特徴表現を、判別的な背景および前景アテンション機構を組み込むことで向上させること。
• 無教師付きアテンションモジュールの限界を克服し、より良い意味的理解を得るために、弱い教師付きの背景識別を導入すること。
• モデルの一般化能力を強化するため、濃霧、夜間、日差しの強い状況など、困難な照明条件にわたるデータオーグメンテーション戦略を開発すること。
• 検出およびカウントの両タスクにおいて、UAVDT、CARPK、PUCPR+といった複数のドローンベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 前景-背景分類からの弱い教師信号を用いて、多スケール特徴マップ間の特徴統合をガイドする背景アテンション（BA）モジュールを導入する。
• 物体のコーナー領域に注目することで、グローバルおよびローカルな外観の手がかりを統合する前景アテンション（FA）モジュールを設計し、局所化精度を向上させる。
• ドローンシーンにおける多様な照明条件（例：濃霧、夜間、日差し）を模擬するために、明るさノイズおよびペリンノイズを用いた新しいデータオーグメンテーション戦略を実装する。
• FPNスタイルのラテラル接続を用いて特徴統合を行うことで、特徴ピラミッドに基づくアンカーフリー検出フレームワークにBAおよびFAモジュールを統合する。
• 検出およびカウントの目的を統合したマルチタスク損失を最適化し、FAの閾値を学習可能なパrameter κで制御する。
• BAのためのラテン、イーリー、ミックス統合戦略を適用し、アブレーションによりイーリー統合が最良のパフォーマンスを示すことを確認した。

実験結果

リサーチクエスチョン

• RQ1 無教師付きアテンション機構と比較して、弱い教師付き背景アテンションはドローンベースの物体検出およびカウントにおける特徴表現を向上させることができるか？
• RQ2 前景アテンションによるグローバルおよびローカルな外観モデリングの統合は、ごみだらけの小形物体ドローンシーンにおける検出精度をどのように向上させるか？
• RQ3 ペリンノイズおよび明るさノイズを組み込んだ新しいデータオーグメンテーション戦略は、多様な照明条件にわたるモデルのロバストネスをどの程度向上させるか？
• RQ4 背景アテンション、前景アテンション、およびデータオーグメンテーションの相対的寄与度は、全体の検出パフォーマンスにどの程度寄与しているか？
• RQ5 提案されたGANetフレームワークは、UAVDT、CARPK、PUCPR+といった標準的なドローンベンチマークデータセットで最先端の性能を達成するか？

主な発見

• BAおよびFAモジュールを備えた提案されたGANetは、ベースライン比でUAVDTデータセットで7.8%のAPスコア上昇（0.4181 → 0.4576）を達成した。
• κ = 1の前景アテンション（FA）モジュールが最良の検出パフォーマンスを示し、APを0.4181から0.4411に向上させ、ローカルな物体特徴を捉える有効性を示した。
• 背景アテンション（BA）モジュールは、SEやGCブロックといった既存のアテンション機構を上回り、UAVDTにおける全カメラビュー（前、側面、上空）で最高のAPを達成した。
• 提案されたデータオーグメンテーション戦略（BPNoise）は、ベースライン比で全体のAPを2%向上させ、濃霧シーンの検出では38%の向上（0.2118 vs. 0.1509）を達成した。
• BA、FA、およびデータオーグメンテーションの組み合わせにより、UAVDT、CARPK、PUCPR+の3つのベンチマークで最先端のパフォーマンスを達成した。GANet+BPNoise+BAはUAVDTで0.4576のAPを達成した。
• アブレーションスタディにより、BAおよびFAはそれぞれ3–4%のAP向上を寄与し、組み合わせると累積で7.8%の向上を達成した。これにより、両者の補完的役割が裏付けられた。