[論文レビュー] Towards Multi-class Object Detection in Unconstrained Remote Sensing Imagery

Seyed Majid Azimi, Eleonora Vig+3 more|arXiv (Cornell University)|Jul 7, 2018

Advanced Neural Network Applications参考文献 26被引用数 5

ひとこと要約

本稿では、複数のサイズの畳み込みカーネルを備えた統合的画像カスケードと特徴マップピラミッドネットワーク、回転に敏感な領域提案およびROIネットワーク、および長方形の回転境界ボックスを強制するための新規幾何的損失関数を用いて、制約のないリモートセンシング画像における多クラス物体検出のための新規エンドツーエンドディープラーニングフレームワークを提案する。本手法は、DOTAデータセットにおいて水平方向境界ボックス検出で68.16%のmAP、回転境界ボックス検出で72.45%のmAPを達成し、すべての先行手法を大きく上回る性能を示した。

ABSTRACT

Automatic multi-class object detection in remote sensing images in unconstrained scenarios is of high interest for several applications including traffic monitoring and disaster management. The huge variation in object scale, orientation, category, and complex backgrounds, as well as the different camera sensors pose great challenges for current algorithms. In this work, we propose a new method consisting of a novel joint image cascade and feature pyramid network with multi-size convolution kernels to extract multi-scale strong and weak semantic features. These features are fed into rotation-based region proposal and region of interest networks to produce object detections. Finally, rotational non-maximum suppression is applied to remove redundant detections. During training, we minimize joint horizontal and oriented bounding box loss functions, as well as a novel loss that enforces oriented boxes to be rectangular. Our method achieves 68.16% mAP on horizontal and 72.45% mAP on oriented bounding box detection tasks on the challenging DOTA dataset, outperforming all published methods by a large margin (+6% and +12% absolute improvement, respectively). Furthermore, it generalizes to two other datasets, NWPU VHR-10 and UCAS-AOD, and achieves competitive results with the baselines even when trained on DOTA. Our method can be deployed in multi-class object detection applications, regardless of the image and object scales and orientations, making it a great choice for unconstrained aerial and satellite imagery.

研究の動機と目的

• 制約のないリモートセンシング画像における多クラス物体検出の課題、特に極端なスケールおよび方向の変動、複雑な背景、多様なセンサモダリティに対処すること。
• 特に駐車場のような密集状況において、任意の方向を向いた物体の検出精度を向上させること。
• 空間解像度や物体特性が異なるデータセット間で良好に動作する、堅牢で汎用性の高い手法を開発すること。
• 回転境界ボックスが長方形を保つように強制する新規幾何的損失関数を導入すること。

提案手法

• 元の画像およびそのダウンサンプル版からマルチスケール特徴を抽出するために、統合的画像カスケードネットワーク（ICN）と特徴マップピラミッドネットワーク（FPN）を併用し、スケール間での特徴表現を強化する。
• 複雑なシーンにおける特徴学習を向上させるために、可変的なマルチスケールおよびマルチ感受野特徴を捕捉できる可変インセプションネットワーク（DIN）を導入する。
• 回転に基づく領域提案ネットワーク（R-RPN）および領域の認識領域ネットワーク（R-ROI）を用いて、任意の方向を向いた物体の正確な局所化を可能にする、回転境界ボックスを生成・最適化する。
• トレーニング中に非長方形の四角形をペナルティ化することで、回転境界ボックスが長方形を保つように強制する新規幾何的損失関数を提案する。
• 重複する検出を抑制しながら回転境界ボックスの予測を保持するため、回転非最大抑制（R-NMS）を適用する。
• 水平および回転境界ボックス回帰に加え、提案された幾何的正則化損失関数を組み合わせたジョイント損失関数を用いてモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 統合的画像カスケードと特徴マップピラミッドアーキテクチャは、リモートセンシング物体検出におけるマルチスケール特徴学習を向上させ得るか？
• RQ2 回転に敏感な領域提案およびROIネットワークを組み込むことで、航空画像における任意方向を向いた物体の検出精度はどのように向上するか？
• RQ3 回転境界ボックスの長方形性を強制することで、局所化性能および一般化性能はどの程度向上するか？
• RQ4 DOTAデータセットでのみトレーニングされたモデルは、NWPU VHR-10 や UCAS-AOD といった他のリモートセンシングデータセットに対しても効果的に一般化可能か？
• RQ5 提案された幾何的損失関数は、回転物体検出における局所化誤差と誤検出の削減にどのような影響を及えるか？

主な発見

• 提案手法は、DOTAデータセットにおける水平境界ボックス検出タスクで68.16%のmAP、回転境界ボックス検出タスクで72.45%のmAPを達成し、それぞれ前人最高性能比で+6%および+12%の絶対的向上を示した。
• 微調整を施した場合、他のデータセットに対しても良好な一般化性能を示した：NWPU VHR-10で95.01%のmAP、UCAS-AODで95.67%のmAPを達成した。Dotaで事前学習した後でも同様の性能を発揮した。
• DOTAデータセットでのみトレーニングされた場合でも、NWPU VHR-10で82.23%のmAP、UCAS-AODで86.13%のmAPを達成しており、強力なゼロショット一般化能力を示した。
• 誤検出率は低く、主に背景と長大な物体（例：橋、港湾施設）の間、および小形・大形の車両の間で誤認識が生じており、類似サイズまたは細長い物体の区別が難しいことが示された。
• 提案された幾何的損失関数は、非長方形の予測を効果的に低減させ、特に密集または細長い物体に対して局所化精度を向上させた。
• モデルは地面サンプリング距離（GSD）の変動に対しても頑健であり、航空機および宇宙機から得られる画像（多様な空間解像度を有する）においても良好に動作した。