[論文レビュー] Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation.

Changhong Fu, Bowen Li+3 more|arXiv (Cornell University)|Oct 13, 2020

Video Surveillance and Tracking Methods被引用数 13

ひとこと要約

本稿は、無人航空機（UAV）ベースの航空視覚追跡を目的とした20の最先端の判別的相関フィルタ（DCF）ベースのトラッカーについて、レビューおよび実験的評価を行っている。本稿はDCFフレームワークを一般化し、6つの主要なUAVベンチマーク（UAV123、UAV123_10fps、UAV20L、UAVDT、DTB70、VisDrone2019-SOT）における性能を評価し、振動や計算制約を伴う現実世界のUAV環境下でのDCFトラッカーの実現可能性、頑健性、および現在の限界を示している。

ABSTRACT

Aerial tracking, which has exhibited its omnipresent dedication and splendid performance, is one of the most active applications in the remote sensing field. Especially, unmanned aerial vehicle (UAV)-based remote sensing system, equipped with a visual tracking approach, has been widely used in aviation, navigation, agriculture, transportation, and public security, etc. As is mentioned above, the UAV-based aerial tracking platform has been gradually developed from research to practical application stage, reaching one of the main aerial remote sensing technologies in the future. However, due to real-world challenging situations, the vibration of the UAV's mechanical structure (especially under strong wind conditions), and limited computation resources, accuracy, robustness, and high efficiency are all crucial for the onboard tracking methods. Recently, the discriminative correlation filter (DCF)-based trackers have stood out for their high computational efficiency and appealing robustness on a single CPU, and have flourished in the UAV visual tracking community. In this work, the basic framework of the DCF-based trackers is firstly generalized, based on which, 20 state-of-the-art DCF-based trackers are orderly summarized according to their innovations for soloving various issues. Besides, exhaustive and quantitative experiments have been extended on various prevailing UAV tracking benchmarks, i.e., UAV123, UAV123_10fps, UAV20L, UAVDT, DTB70, and VisDrone2019-SOT, which contain 371,625 frames in total. The experiments show the performance, verify the feasibility, and demonstrate the current challenges of DCF-based trackers onboard UAV tracking. Finally, comprehensive conclusions on open challenges and directions for future research is presented.

研究の動機と目的

• 20の最先端のDCFベースのトラッカーを体系的にレビューし、分類すること。
• 機械的振動や制限された計算リソースを伴う現実世界のUAV環境下でのDCFベースのトラッカーの性能を評価すること。
• UAVベースの航空追跡応用におけるDCFベースのトラッカーの主な課題と限界を特定すること。
• 今後の研究を支援するため、複数の標準的なUAV追跡データセットを対象とした包括的なベンチマーク分析を提供すること。

提案手法

• 本稿は、20の最先端の手法を体系的に比較・分類できるように、判別的相関フィルタ（DCF）ベースのトラッカーのコアフレームワークを一般化している。
• UAV123、UAV123_10fps、UAV20L、UAVDT、DTB70、VisDrone2019-SOTの6つの広く使われているUAV追跡ベンチマークにおいて、包括的かつ定量的な実験を実施しており、合計371,625フレームをカバーしている。
• 評価は、特に強風による振動や低フレームレートといった困難な条件下でも、追跡精度、頑健性、計算効率に焦点を当てている。
• 各トラッカーにおける革新点（カーネル設計、特徴表現、正則化技術など）を分析し、それらが性能に与える影響を理解している。
• 精度や成功確率といったパフォーマンス指標を、すべてのベンチマークで計算・比較し、トラッカーの有効性を評価している。
• 追跡結果の定性的および定量的分析を通じて、共通する失敗モードやパフォーマンスのボトルネックを同定している。

実験結果

リサーチクエスチョン

• RQ1 DCFベースのトラッカーは、現実世界の条件下で多様なUAV追跡ベンチマークでどのように性能を発揮するか？
• RQ2 最先端のDCFトラッカーに見られる主な設計的革新は、頑健性と効率を向上させるためにどのようなものか？
• RQ3 リソース制限のあるUAVプラットフォームに展開された際、DCFベースのトラッカーが直面する主な限界は何か？
• RQ4 機械的振動や低フレームレートといった要因が、DCFベースのトラッカーの性能にどのように影響を与えるか？
• RQ5 DCFベースのUAV追跡における未解決の課題と今後の研究方向性は何か？

主な発見

• DCFベースのトラッカーは、単一のCPU上で高い計算効率と強い頑健性を達成しており、UAV搭載用途に適している。
• 6つのベンチマークにおける評価から、DCFベースのトラッカーは、特に中程度の摂動下での速度と安定性において、競争力のあるパフォーマンスを維持していることが確認された。
• 強力なパフォーマンスにもかかわらず、DCFトラッカーは、大規模なスケール変化、深刻な隠蔽、強風下での高速移動に対処する上で依然として課題を抱えている。
• 本研究では、特徴表現とカーネル設計がトラッカーの頑健性に大きな影響を与える重要な要因であると特定した。一部の高度な手法は、精度と成功確率の面で顕著な向上を示している。
• ベンチマーク全体での定量的結果から、上位パフォーマンスを示すDCFトラッカーは、UAV123およびUAV20Lでは平均成功率が0.70以上を達成しており、VisDrone2019-SOTでは精度スコアが0.65を超えていた。
• 分析から、低フレームレートの状況（例：10fps）においても継続的なパフォーマンス低下が見られ、今後のDCFベースの設計において、時間的モデリングの改善が求められることが明らかになった。