[論文レビュー] Towards Large-Scale Small Object Detection: Survey and Benchmarks

Gong Cheng, Xiang Yuan+5 more|arXiv (Cornell University)|Jul 28, 2022

Advanced Neural Network Applications被引用数 34

ひとこと要約

本論文は小物体検出（SOD）を調査し、運転シーン向けの SODA-D と空撮シーン向けの SODA-A の2つの大規模 SOD ベンチマークを導入して、マルチカテゴリSOD手法を評価する。

ABSTRACT

With the rise of deep convolutional neural networks, object detection has achieved prominent advances in past years. However, such prosperity could not camouflage the unsatisfactory situation of Small Object Detection (SOD), one of the notoriously challenging tasks in computer vision, owing to the poor visual appearance and noisy representation caused by the intrinsic structure of small targets. In addition, large-scale dataset for benchmarking small object detection methods remains a bottleneck. In this paper, we first conduct a thorough review of small object detection. Then, to catalyze the development of SOD, we construct two large-scale Small Object Detection dAtasets (SODA), SODA-D and SODA-A, which focus on the Driving and Aerial scenarios respectively. SODA-D includes 24828 high-quality traffic images and 278433 instances of nine categories. For SODA-A, we harvest 2513 high resolution aerial images and annotate 872069 instances over nine classes. The proposed datasets, as we know, are the first-ever attempt to large-scale benchmarks with a vast collection of exhaustively annotated instances tailored for multi-category SOD. Finally, we evaluate the performance of mainstream methods on SODA. We expect the released benchmarks could facilitate the development of SOD and spawn more breakthroughs in this field. Datasets and codes are available at: \url{https://shaunyuan22.github.io/SODA}.

研究の動機と目的

• 複数のドメインにわたる深層学習ベースの小物体検出の発展を概観する。
• SOD に特有の課題を特定し、既存のアプローチを分類する。
• 運転シーンと空撮シーン用の2つの大規模 SODA ベンチマークを導入し、総合的な評価を可能にする。
• SODA ベンチマーク上で代表的検出器のベースライン評価を提供する。
• 小物体検出の将来研究を指針づける洞察を提供する。

提案手法

• 小物体検出手法を6つのカテゴリに分類する：sample-oriented（サンプル志向）、scale-aware（スケール認識）、attention-based（注意機構ベース）、feature-imitation（特徴模倣）、context-modeling（文脈モデリング）、focus-and-detect（焦点化と検出）.
• 小物体の陽性サンプルを増やすためのデータ拡張と最適化されたラベル割り当てについて論じる。
• 小物体表現を改善するためのスケール特異的アーキテクチャと特徴融合戦略を説明する。
• 極小物体の識別と局在化を向上させるための注意機構ベースおよび模倣ベースの手法を要約する。
• SODA-DとSODA-Aデータセットの構築過程・統計・アノテーションを提示する。
• 提案ベンチマーク上で主流およびSOD手法の実験評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 運転・空撮領域における小物体検出に特有の主要な課題は何か？
• RQ2 既存のSOD手法は、大規模・マルチカテゴリの小物体ベンチマークでどのように性能を示すか？
• RQ3 小物体検出性能を最も効果的に向上させるデータおよびアーキテクチャ戦略は何か？
• RQ4 提案されたSODAベンチマークはSOD研究の新たな進展を促進できるか？
• RQ5 スケール、文脈、表現は、異なるドメインでの小物体検出にどのような影響を与えるか？

主な発見

• 小物体は情報損失、ノイズの多い表現、低い IoU 応答、訓練用陽性サンプルの不足に苦しむ。
• スケール認識およびマルチスケール特徴融合アプローチ（例：FPN風構造、スケール特異検出器、階層的融合）は、SOD性能の向上に中心となる。
• 注意機構ベースおよび特徴模倣ベースの手法は効果を提供するが、計算オーバーヘッドや訓練上の課題を招く場合がある。
• 2つの新しい大規模SODAベンチマーク（SODA-DとSODA-A）は、それぞれ運転シーンと空撮シーンに対して、網羅的に注釈付けされたマルチカテゴリの小物体データを提供する。
• これらのベンチマークは、スケールとドメインを横断した検出器の詳細な評価を可能にし、公開されている（データセットとコードは提供URLにあります）。
• SODAでのベースライン評価は代表的検出手法の有効性を示し、今後のSOD研究のギャップを浮き彫りにする。