[論文レビュー] Cascaded Zoom-in Detector for High Resolution Aerial Images

Akhil Meethal, Éric Granger+1 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、高解像度空中画像における小規模オブジェクトの密集領域（密度クロップ）を同定・処理するために、オブジェクト検出器自体を再利用するカスケードズームイン（CZ）検出器を提案する。トレーニング中に新しい「密度クロップ」クラスを追加し、アップサンプリングされたクロップに対して2段階の推論を実行することで、外部コンponentを追加せずに小規模オブジェクト検出の精度を向上させ、VisDroneで3.0以上のmAP向上を達成し、最先端の性能を実現した。

ABSTRACT

Detecting objects in aerial images is challenging because they are typically composed of crowded small objects distributed non-uniformly over high-resolution images. Density cropping is a widely used method to improve this small object detection where the crowded small object regions are extracted and processed in high resolution. However, this is typically accomplished by adding other learnable components, thus complicating the training and inference over a standard detection process. In this paper, we propose an efficient Cascaded Zoom-in (CZ) detector that re-purposes the detector itself for density-guided training and inference. During training, density crops are located, labeled as a new class, and employed to augment the training dataset. During inference, the density crops are first detected along with the base class objects, and then input for a second stage of inference. This approach is easily integrated into any detector, and creates no significant change in the standard detection process, like the uniform cropping approach popular in aerial image detection. Experimental results on the aerial images of the challenging VisDrone and DOTA datasets verify the benefits of the proposed approach. The proposed CZ detector also provides state-of-the-art results over uniform cropping and other density cropping methods on the VisDrone dataset, increasing the detection mAP of small objects by more than 3 points.

研究の動機と目的

• 標準的な検出器がダウンスケーリングによる特徴劣化を受ける高解像度空中画像における小規模で散らばったオブジェクトの検出という課題に対処すること。
• 密度ベースのクロッピング手法に追加の学習可能なコンponentを必要としないようにすることにより、トレーニングと推論の複雑さを軽減すること。
• 密度クロッピングを均一クロッピングと同等に簡単なものにすることで、研究手法と実用的導入のギャップを埋めること。
• 標準の検出パイプラインを変更せずに高解像度クロップ推論を活用することで、特に小規模オブジェクトのmAPを向上させること。

提案手法

• トレーニング中に、オブジェクト密度と空間クラスタリングに基づく微分不能なクロップラベル付けアルゴリズムを用いて自動的にラベル付けされる「密度クロップ」クラスを新たに導入する。
• トレーニング段階では、検出器をベースクラスオブジェクトと密度クロップの両方を検出できるようにファインチューニングし、後者をより高い解像度にリスケーリングして特徴学習を強化する。
• 推論段階では、検出器が1回の順伝播でフル解像度画像上でベースオブジェクトと密度クロップを同時に検出する。
• 検出された密度クロップは、固定された高解像度にアップサンプリングされ、2段階目の推論プロセスに渡されて小規模オブジェクト検出を精緻化する。
• 最終的な検出結果は、フル画像推論と高解像度クロップ推論の結果を統合することで得られ、重複するボックスを統合する際に20ピixelの閾値が使用される。
• パイプライン全体が標準の検出器アーキテクチャを再利用しており、追加モジュールや複雑なトレーニング段階を回避している。

実験結果

リサーチクエスチョン

• RQ1 外部の学習可能なコンponentを追加せずに、検出器を密度クロップの検出に再利用できるか？
• RQ2 アップサンプリングされた密度クロップに対してカスケード推論を適用することで、均一クロッピングと比較して高解像度空中画像における小規模オブジェクト検出が向上するか？
• RQ3 提案手法は、均一クロッピングと同等のシンプルさを維持しながら、最先端の性能を達成できるか？
• RQ4 CZ検出器の性能は、特に小規模オブジェクトにおいて、オブジェクトサイズのカテゴリごとにどのように変化するか？

主な発見

• 提案されたCZ検出器は、VisDroneデータセットにおいてベースラインと比較して小規模オブジェクトのmAPを3.0以上向上させた（29.48から33.02に向上）。
• 本手法は、ClusterNet や DensityMap などの外部モジュールを用いた手法を上回り、VisDroneで新たな最先端のmAP 33.22を達成した。
• 次に優れた手法と比較して、小規模オブジェクト（APs）のmAPで2.5ポイントの向上を達成し、26.06のAPsスコアを記録した。
• FCOSを用いても12.69 FPSという高い推論速度を維持しながら、顕著な精度向上を実現しており、実用性を示した。
• 適応的統合を伴う2段階推論により、誤検出が低減され、特に小規模オブジェクトの局所化精度が向上した。
• 本手法は一般化性能に優れており、最新のアンカーレス検出器であるFCOSを用いても33.67のmAPを達成し、アーキテクチャを問わず高いロバスト性を示した。