[論文レビュー] Detection and Tracking Meet Drones Challenge

Pengfei Zhu, Longyin Wen+5 more|arXiv (Cornell University)|Jan 16, 2020

Video Surveillance and Tracking Methods参考文献 149被引用数 14

ひとこと要約

本稿では、ドローンによる動画分析のための大規模かつ完全にアノテーションが施されたベンチマークデータセットであるVisDroneを紹介する。このデータセットは、4つのトラック（画像検出、動画検出、単一オブジェクトトラッキング、マルチオブジェクトトラッキング）を含み、263本の動画クリップと179,264フレームを有する。このデータセットにより、視点やスケールの変化、運動ブラー、小規模オブジェクト検出といった実世界のドローンの課題に直面したオブジェクト検出およびトラッキングアルゴリズムの包括的評価が可能となり、航空ビジョンシステム分野の研究を著しく前進させる。

ABSTRACT

Drones, or general UAVs, equipped with cameras have been fast deployed with a wide range of applications, including agriculture, aerial photography, and surveillance. Consequently, automatic understanding of visual data collected from drones becomes highly demanding, bringing computer vision and drones more and more closely. To promote and track the developments of object detection and tracking algorithms, we have organized three challenge workshops in conjunction with ECCV 2018, ICCV 2019 and ECCV 2020, attracting more than 100 teams around the world. We provide a large-scale drone captured dataset, VisDrone, which includes four tracks, i.e., (1) image object detection, (2) video object detection, (3) single object tracking, and (4) multi-object tracking. In this paper, we first present a thorough review of object detection and tracking datasets and benchmarks, and discuss the challenges of collecting large-scale drone-based object detection and tracking datasets with fully manual annotations. After that, we describe our VisDrone dataset, which is captured over various urban/suburban areas of 14 different cities across China from North to South. Being the largest such dataset ever published, VisDrone enables extensive evaluation and investigation of visual analysis algorithms for the drone platform. We provide a detailed analysis of the current state of the field of large-scale object detection and tracking on drones, and conclude the challenge as well as propose future directions. We expect the benchmark largely boost the research and development in video analysis on drone platforms. All the datasets and experimental results can be downloaded from https://github.com/VisDrone/VisDrone-Dataset.

研究の動機と目的

• ドローンベースの動画分析のための大規模かつ完全にアノテーションが施されたデータセットの不足に応えること。これは、オブジェクト検出およびトラッキング分野の進展を妨げている。
• ECCV 2018、ICCV 2019、ECCV 2020で国際的なコンテストを主催し、ドローンビジョン分野における最先端のアルゴリズムの評価と促進を図ること。
• 14の中国都市にまたがる多様な都市・準都市環境をカバーする包括的なベンチマークを提供すること。実世界の課題、例えば視点の変化、スケールの変化、運動ブラーを含む。
• 小規模オブジェクトの検出や遮蔽・ブラー下でのトラッキングを含む、現実的な条件下での検出およびトラッキングモデルの性能を評価すること。
• 運動モデル化、効率制約、小規模オブジェクトの表現といった未解決の問題を特定することで、今後の研究を導くこと。

提案手法

• VisDroneデータセットは、中国の14都市から収集され、変動する高度と照明条件を伴う多様な都市および準都市環境をカバーしている。
• データセットには4つのトラック（画像検出、動画検出、単一オブジェクトトラッキング、マルチオブジェクトトラッキング）が含まれており、それぞれが事前に定義された評価プロトコルを持つ。
• すべてのアノテーションは、バウンディングボックスとインスタンスIDを用いて手作業で作成され、フレーム間で高品質かつ一貫性のあるラベル付けが保証されている。
• コンテストフレームワークでは、検出にはmAP、トラッキングにはMOTAといった標準的な指標が使用され、精度と耐障害性の両方の評価が行われた。
• 検出およびトラッキングモデルのエンドツーエンド評価を可能とするベンチマークであり、空間的・時間的コンテキストを活用する統合フレームワークも含む。
• データセットはGitHub経由で公開されており、再現可能性とドローンビジョン研究分野におけるコミュニティ全体の前進を支援する。

実験結果

リサーチクエスチョン

• RQ1 極端な視点やスケールの変化を伴う大規模かつ現実世界のドローン撮影動画シーケンスにおいて、既存のオブジェクト検出およびトラッキングアルゴリズムはどの程度の性能を示すのか？
• RQ2 航空動画において運動ブラー、小規模オブジェクト検出、遮蔽に直面した際、現在のモデルの主な失敗モードは何か？
• RQ3 ドローン動画における空間的・時間的コンテキストを活用することで、統合検出・トラッキングフレームワークはどの程度性能を向上させ得るのか？
• RQ4 リソース制限のあるドローンプラットフォームへのデプロイを考慮した場合、モデルの効率性と精度のバランスはどのようにとるべきか？
• RQ5 自動化されたニューラルアーキテクチャ探索（AutoNAS）は、ドローンベースのビジョンシステムに適した効率的かつ正確なモデル設計において、どのような役割を果たすのか？

主な発見

• VisDroneデータセットは、これまでに公開された中で最大のドローンベースのベンチマークであり、263本の動画クリップと179,264フレームのアノテーションを有する。14の中国都市にまたがる多様な都市・準都市環境をカバーしている。
• コンテストには世界中から100以上の研究チームが参加し、ドローンビジョンアルゴリズム分野における強いコミュニティの関心と活発な開発が示された。
• 現在の最先端モデルでさえ、小規模オブジェクト、運動ブラー、視点の変化に対して困難を抱えており、さらなる改善の余地が大きいことが示された。
• 統合検出・トラッキングフレームワークは、特に外観コントラストが低い状況下で、時間的一致性を活用することで性能向上の可能性を示している。
• エッジデバイスに最適化された効率的モデルアーキテクチャの開発が急務であり、自動化アーキテクチャ探索（AutoNAS）が今後の主要な方向性として浮上している。
• データセットにより、IDスイッチ、誤検出、トラジェクトリの断片化といった失敗事例の詳細な分析が可能となり、現在のトラッキングシステムの限界が浮き彫りにされた。