[論文レビュー] Towards Resolving the Challenge of Long-tail Distribution in UAV Images for Object Detection

Weiping Yu, Taojiannan Yang+1 more|arXiv (Cornell University)|Nov 7, 2020

Advanced Neural Network Applications参考文献 34被引用数 5

ひとこと要約

本稿では、クラスバイアスサンプラー（CBS）とバイラテラルボックスヘッド（BBH）を導入することで、長尾クラス分布を是正する新規なUAV画像向けオブジェクト検出フレームワーク、DSHNetを提案する。CBSは、不足しがちなテールクラスを優先してオブジェクト候補を再サンプリングする。一方、BBHは、クラスバイアス付きの候補で学習された二つの分類器を用い、検出性能を向上させる。DSHNetは、推論遅延を増加させることなく、VisDroneで24.6のSOTA mAP、UAVDTで26.2のmAPを達成した。

ABSTRACT

Existing methods for object detection in UAV images ignored an important challenge - imbalanced class distribution in UAV images - which leads to poor performance on tail classes. We systematically investigate existing solutions to long-tail problems and unveil that re-balancing methods that are effective on natural image datasets cannot be trivially applied to UAV datasets. To this end, we rethink long-tailed object detection in UAV images and propose the Dual Sampler and Head detection Network (DSHNet), which is the first work that aims to resolve long-tail distribution in UAV images. The key components in DSHNet include Class-Biased Samplers (CBS) and Bilateral Box Heads (BBH), which are developed to cope with tail classes and head classes in a dual-path manner. Without bells and whistles, DSHNet significantly boosts the performance of tail classes on different detection frameworks. Moreover, DSHNet significantly outperforms base detectors and generic approaches for long-tail problems on VisDrone and UAVDT datasets. It achieves new state-of-the-art performance when combining with image cropping methods. Code is available at https://github.com/we1pingyu/DSHNet

研究の動機と目的

• UAVオブジェクト検出における長尾分布問題に対処すること。具体的には、ヘッドクラス（例：車両、人物）が優勢であり、テールクラス（例：awn.、三輪車）が著しく不足している状況を改善すること。
• 自然画像データセットで成功している既存の長尾是正手法が、UAVデータでは低バッチサイズと高解像度で密集するヘッドクラスオブジェクトの影響を受けて失敗する理由を特定すること。
• 元のデータ分布を歪めず、アーキテクチャの大規模な見直しが不要な検出フレームワークを設計すること。
• 二重パス学習（ヘッドクラスとテールクラスの候補を別々に最適化）が、より良い一般化性能と検出性能をもたらすかどうかを検証すること。

提案手法

• クラスバイアスサンプラー（CBS）を導入し、トレーニング中にテールクラスのオブジェクトを優先して候補を再サンプリングすることで、不足しがちなクラスの十分な表現を確保する。
• バイラテラルボックスヘッド（BBH）を採用し、二つの分類器（BBH(T)：テールクラス候補用、BBH(H)：ヘッドクラス候補用）を別々に構築し、クラスバイアス付きのサンプルで学習させる。
• BBHでは、ヘッドクラスとテールクラスのそれぞれに対して別々の損失を計算し、ハイパーパrameter λ を用いて両者の寄与度をバランスさせる。
• 二段階トレーニング戦略を採用する。CBSがクラスバイアス付きの候補を生成し、それらをBBHが処理して予測を出力し、推論時にNMSを用いて統合する。
• パッチ抽出手法との互換性を確保するため、パッチのクロップを前提にした学習を実施し、最先端のパッチ生成手法（例：DMNet）と組み合わせて性能向上を実現する。
• 計算オーバーヘッドを最小限に抑え、推論効率を維持する。ベース検出器と比較してわずかにFPSが低下するのみである。

実験結果

リサーチクエスチョン

• RQ1 なぜ自然画像データセットでは成功している既存の長尾是正手法が、UAVデータセットでは失敗するのか？
• RQ2 ヘッドクラスとテールクラスの候補を別々に処理する二重パス検出フレームワークが、長尾UAVデータセットにおける性能向上に寄与するか？
• RQ3 クラスバイアスサンプリングと二重ヘッド分類の組み合わせが、標準的な是正手法に比べてテールクラスのmAPと全体のmAPで優れているか？
• RQ4 画像クロッピング技術と組み合わせた場合、提案手法がどの程度性能向上をもたらすか？

主な発見

• VisDroneデータセットにおいて、DSHNetは平均平均精度（mAP）24.6を達成し、ベースのFaster R-CNN（21.7）や最先端のベースラインを大きく上回った。
• UAVDTデータセットでは、DSHNetがmAP 26.2を達成し、ベースのCascade R-CNN（23.2）や既存の長尾手法を上回った。
• アブレーションスタディにより、CBSがベースモデル比で2.9 mAPポイントの向上を示し、BBHがさらに2.9 mAPポイントの向上を示した。両者の有効性が裏付けられた。
• DMNetを用いた画像クロッピングと組み合わせた場合、DSHNetは全体のmAPを2.2ポイント向上（28.1 → 30.3）させ、データ拡張と高い相性を示した。
• BBHにおける損失再重み付けの最適なλ値は2.0であり、λ > 4.0になると性能が低下した。これはクラス不均衡の重み付けに敏感であることを示している。
• 推論速度への影響は最小限で、DSHNetはFaster R-CNNベース（20.1 FPS）に対して15.7 FPSで動作し、リアルタイムUAVアプリケーションへの実用性を確認した。