[論文レビュー] PENet: Object Detection using Points Estimation in Aerial Images

Ziyang Tang, Xiang Liu+2 more|arXiv (Cornell University)|Jan 22, 2020

Robotics and Sensor-Based Localization参考文献 37被引用数 15

ひとこと要約

PENetは、空中画像における小規模物体検出の課題に応じて、粗い段階から細かい段階へのパイプラインを採用する、アンカー非依存の物体検出フレームワークを提案する。CPENは、非最大マージン（NMM）を用いて密集した小規模物体のクラスタ中心を推定する。一方、FPENは階層的損失関数を用いて局所化を精緻化し、クラスの類似性に対処する。本手法は最先端性能を達成し、visDroneではmAPを8.7%、UAVDTでは20.3%向上させた。

ABSTRACT

Aerial imagery has been increasingly adopted in mission-critical tasks, such as traffic surveillance, smart cities, and disaster assistance. However, identifying objects from aerial images faces the following challenges: 1) objects of interests are often too small and too dense relative to the images; 2) objects of interests are often in different relative sizes; and 3) the number of objects in each category is imbalanced. A novel network structure, Points Estimated Network (PENet), is proposed in this work to answer these challenges. PENet uses a Mask Resampling Module (MRM) to augment the imbalanced datasets, a coarse anchor-free detector (CPEN) to effectively predict the center points of the small object clusters, and a fine anchor-free detector FPEN to locate the precise positions of the small objects. An adaptive merge algorithm Non-maximum Merge (NMM) is implemented in CPEN to address the issue of detecting dense small objects, and a hierarchical loss is defined in FPEN to further improve the classification accuracy. Our extensive experiments on aerial datasets visDrone and UAVDT showed that PENet achieved higher precision results than existing state-of-the-art approaches. Our best model achieved 8.7% improvement on visDrone and 20.3% on UAVDT.

研究の動機と目的

• 高解像度の空中画像における小規模・密集・クラス不均衡な物体の検出の課題に対処すること。
• 自然画像データセットで訓練された従来のCNN検出器の限界を乗り越え、空中画像の特徴に適応すること。
• データ拡張と特化した検出モジュールを用いて、小規模およびレアな物体カテゴリの検出精度を向上させること。
• 視覚的に類似したクラス（例：pedestrian と person）が区別しにくい「クラス類似性問題」（CSP）を軽減すること。
• 既存のCNNベースの検出器に統合可能なモジュラで拡張可能なフレームワークを構築し、空中ベンチマークにおける性能を向上させること。

提案手法

• 道路マップとインスタンスパッチを用いてオブジェクトインスタンスを合成することで、不均衡なデータセットを拡張するためのマスク再サンプリングモジュール（MRM）を導入する。
• 密集した小規模物体のための高品質なクラスタチップを生成するために、非最大マージン（NMM）を用いるアンカー非依存の粗い検出器（CPEN）を採用する。
• 階層的損失関数を用いて局所化を精緻化するアンカー非依存の細かい検出器（FPEN）を適用し、分類精度を向上させる。
• FPENで階層的損失を用いることで、クラス関係をモデル化し、一般化性能を向上させることで、カテゴリカル類似性問題（CSP）に対処する。
• 元の高解像度画像とクラスタチップの両方の予測を統合して、小規模および大規模物体の両方の検出を向上させる。
• 粗い段階から細かい段階への検出パイプラインを実装する：CPENが最初にクラスタを検出し、その後FPENがそのクラスタ内でのオブジェクト位置を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 高解像度の空中画像において、物体が小規模で密集し、クラスが不均衡な状況で、物体検出をどのように改善できるか？
• RQ2 オブジェクトサイズや視点が変動する空中画像において、ポイントベースの検出アプローチがアンカーベースの手法を上回る可能性は何か？
• RQ3 MRMによるデータ拡張が、希少または代表されていないオブジェクトカテゴリの検出性能をどの程度向上させられるか？
• RQ4 過剰にセグメンテーションを起こさずに、密集した小規模物体をクラスタリングするための非最大マージン（NMM）アルゴリズムの有効性はいかほどか？
• RQ5 カテゴリカル類似性問題（CSP）が生じる状況、例えばpedestrianとpersonのような類似クラスを区別する際、階層的損失関数が検出精度をどの程度向上させるか？

主な発見

• PENetは、最先端手法と比較して、UAVDTデータセットでmAPを20.3%向上させ、visDroneでは8.7%向上させた。
• CPENモジュール単体でも、ベースラインのCenterNetと比較して、visDroneでmAPを15.1%、UAVDTで38.1%向上させ、クラスタベース検出の有効性を示した。
• MRMの追加により、UAVDTで最大4.7%、visDroneで4.4%のmAP向上が確認され、希少オブジェクトカテゴリ向けのデータ拡張の価値を裏付けた。
• FPENにおける階層的損失は、visDroneでmAPを7.4%向上させ、特に自転車や三輪車のような小規模で曖昧なクラスで顕著な向上が見られた。
• アブレーションスタディの結果、MRM、CPEN、および階層的損失を備えたFPENの各コンponentが、それぞれ独立してかつ顕著に全体の性能向上に寄与していることが確認された。
• モデルは異なるデータセット間で一般化可能である：階層的損失により、複数の空中データセットを統合して同時に学習可能となり、耐障害性と一般化能力が向上した。