[論文レビュー] EAGLE: Large-scale Vehicle Detection Dataset inReal-World Scenarios using Aerial Imagery

Seyed Majid Azimi, Reza Bahmanyar+2 more|arXiv (Cornell University)|Jul 12, 2020

Advanced Neural Network Applications参考文献 42被引用数 4

ひとこと要約

EAGLEは、4点によるバウンディングボックスと方向ラベルを用いてアノテートされた215,986個の向き付き車両インスタンスを有する大規模かつ現実世界の空中画像データセットであり、天候、照明、隠蔽、カメラアングルの変化といった多様な条件下でのマルチクラス車両検出を可能にする。水平、回転、向き付きバウンディングボックス検出の3つのタスクをサポートすることで、空中オブジェクト検出の新しいベンチマークを確立し、最先端モデルの広範な評価を通じて最先端のベースラインを提供する。

ABSTRACT

Multi-class vehicle detection from airborne imagery with orientation estimation is an important task in the near and remote vision domains with applications in traffic monitoring and disaster management. In the last decade, we have witnessed significant progress in object detection in ground imagery, but it is still in its infancy in airborne imagery, mostly due to the scarcity of diverse and large-scale datasets. Despite being a useful tool for different applications, current airborne datasets only partially reflect the challenges of real-world scenarios. To address this issue, we introduce EAGLE (oriEnted vehicle detection using Aerial imaGery in real-worLd scEnarios), a large-scale dataset for multi-class vehicle detection with object orientation information in aerial imagery. It features high-resolution aerial images composed of different real-world situations with a wide variety of camera sensor, resolution, flight altitude, weather, illumination, haze, shadow, time, city, country, occlusion, and camera angle. The annotation was done by airborne imagery experts with small- and large-vehicle classes. EAGLE contains 215,986 instances annotated with oriented bounding boxes defined by four points and orientation, making it by far the largest dataset to date in this task. It also supports researches on the haze and shadow removal as well as super-resolution and in-painting applications. We define three tasks: detection by (1) horizontal bounding boxes, (2) rotated bounding boxes, and (3) oriented bounding boxes. We carried out several experiments to evaluate several state-of-the-art methods in object detection on our dataset to form a baseline. Experiments show that the EAGLE dataset accurately reflects real-world situations and correspondingly challenging applications.

研究の動機と目的

• 向き付きの推定を伴うマルチクラス車両検出のための、大規模で多様かつ現実的である空中画像データセットの不足を解消すること。
• はっきりとしたハロー、影、変動する飛行高度、センサータイプなどの現実世界の課題を反映しない既存のデータセットの限界を克服すること。
• 高解像度の空中画像を用いて現実的な条件下で最先端のオブジェクト検出モデルを評価する包括的なベンチマークを提供すること。
• このデータセットの多様で豊富なアノテーションのおかげで、はっきりとした除去、スーパーレゾリューション、画像補完などの関連タスクにおける研究を可能にすること。
• 水平、回転、向き付きバウンディングボックス検出の3つの検出タスクに対する標準化された評価プロトコルを確立すること。

提案手法

• 複数の都市、国、飛行高度、天候状況、照明レベルを含む多様な現実世界のシナリオから高解像度の空中画像を収集する。
• 航空画像専門家を活用し、4つのコーナー点と方向角度で定義される向き付きバウンディングボックスを用いて、215,986個の車両インスタンスをアノテートする。
• 3つの明確に区別された検出タスクを設計する：(1) 水平バウンディングボックス、(2) 回転バウンディングボックス、(3) 向き付きバウンディングボックス。これによりモデルの耐性を評価する。
• カメラセンサータイプ、解像度、時間帯、隠蔽、はっきり、影のレベルの変化を含めることで、データセットの多様性を確保する。
• はっきりや影の除去、スーパーレゾリューション、画像補完のタスクに適したデータを含めることで、下流の応用を支援する。
• EAGLEデータセット上で多数の最先端オブジェクト検出モデルを訓練・評価し、パフォーマンスベースラインを確立する。

実験結果

リサーチクエスチョン

• RQ1 EAGLEデータセットは、天候、照明、隠蔽の変化といった現実世界の空中検出課題をどの程度反映しているか？
• RQ2 最先端のオブジェクト検出モデルは、多様な現実世界の条件下における空中画像での向き付き車両検出において、どの程度の性能を示すか？
• RQ3 水平または回転バウンディングボックスと比較して、向き付きバウンディングボックスを用いることで、空中車両検出でどの程度のパフォーマンス向上が達成できるか？
• RQ4 EAGLEデータセットは、はっきり除去やスーパーレゾリューションを含む空中画像理解分野の研究を進めるための信頼できるベンチマークとして機能できるか？
• RQ5 飛行高度、センサータイプ、環境条件の変化が、空中画像における検出精度にどのように影響するか？

主な発見

• EAGLEデータセットには、向き付きバウンディングボックスと方向がアノテートされた215,986個の車両インスタンスが含まれており、空中車両検出分野で最大の規模のデータセットである。
• EAGLEにおける実験では、はっきり、影、隠蔽を含む多様な現実世界の条件下でも、このデータセットで訓練されたモデルが高い耐性を示すことが明らかになった。
• 水平または回転バウンディングボックスのベースラインと比較して、向き付きバウンディングボックスの使用により、特に長く細い車両が関与する状況で顕著なパフォーマンス向上が達成された。
• 最先端のオブジェクト検出モデルは、データセット内の現実世界の変化に対して明確なパフォーマンス低下を示した。これにより、データセットの挑戦性と現実性が裏付けられた。
• 高解像度と多様なアノテーションのおかげで、このデータセットは検出を越えた先端研究を可能にし、はっきりや影の除去、スーパーレゾリューション、画像補完を含む。
• 水平、回転、向き付きの3つのタスクにおけるベースライン結果は、空中オブジェクト検出分野における今後の手法開発の強力な基準点を提供している。