[论文解读] Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation.

Changhong Fu, Bowen Li+3 more|arXiv (Cornell University)|Oct 13, 2020

Video Surveillance and Tracking Methods被引用 13

一句话总结

本文综述并实验评估了20种最先进的基于判别相关滤波（DCF）的无人机（UAV）视觉跟踪器。它对DCF框架进行了泛化，基于六个主要的无人机基准（UAV123、UAV123_10fps、UAV20L、UAVDT、DTB70、VisDrone2019-SOT）评估了性能，展示了在真实无人机环境下（包括振动和计算资源限制）DCF跟踪器的可行性、鲁棒性及当前局限性。

ABSTRACT

Aerial tracking, which has exhibited its omnipresent dedication and splendid performance, is one of the most active applications in the remote sensing field. Especially, unmanned aerial vehicle (UAV)-based remote sensing system, equipped with a visual tracking approach, has been widely used in aviation, navigation, agriculture, transportation, and public security, etc. As is mentioned above, the UAV-based aerial tracking platform has been gradually developed from research to practical application stage, reaching one of the main aerial remote sensing technologies in the future. However, due to real-world challenging situations, the vibration of the UAV's mechanical structure (especially under strong wind conditions), and limited computation resources, accuracy, robustness, and high efficiency are all crucial for the onboard tracking methods. Recently, the discriminative correlation filter (DCF)-based trackers have stood out for their high computational efficiency and appealing robustness on a single CPU, and have flourished in the UAV visual tracking community. In this work, the basic framework of the DCF-based trackers is firstly generalized, based on which, 20 state-of-the-art DCF-based trackers are orderly summarized according to their innovations for soloving various issues. Besides, exhaustive and quantitative experiments have been extended on various prevailing UAV tracking benchmarks, i.e., UAV123, UAV123_10fps, UAV20L, UAVDT, DTB70, and VisDrone2019-SOT, which contain 371,625 frames in total. The experiments show the performance, verify the feasibility, and demonstrate the current challenges of DCF-based trackers onboard UAV tracking. Finally, comprehensive conclusions on open challenges and directions for future research is presented.

研究动机与目标

• 系统性地综述并分类20种最先进的基于DCF的无人机视觉跟踪器。
• 在真实无人机环境下（包括机械振动和有限计算资源）评估基于DCF的跟踪器性能。
• 识别基于DCF的跟踪器在基于无人机的空中跟踪应用中的关键挑战和局限性。
• 通过多个标准无人机跟踪数据集进行全面的基准测试分析，以指导未来研究。

提出的方法

• 本文对判别相关滤波（DCF）跟踪器的核心框架进行泛化，以实现对20种最先进方法的系统比较与分类。
• 在六个广泛使用的无人机跟踪基准上开展全面且定量的实验：UAV123、UAV123_10fps、UAV20L、UAVDT、DTB70和VisDrone2019-SOT，共计371,625帧。
• 评估重点在于跟踪精度、鲁棒性及计算效率，特别是在强风引起的振动和低帧率等挑战性条件下的表现。
• 分析每种跟踪器的创新点，如核函数设计、特征表示和正则化技术，以理解其对性能的影响。
• 计算并比较所有基准上的性能指标（如精度和成功率），以评估跟踪器的有效性。
• 通过定性和定量分析跟踪结果，识别出常见的失败模式和性能瓶颈。

实验结果

研究问题

• RQ1 在真实世界无人机条件下，DCF跟踪器在多样化无人机跟踪基准上的表现如何？
• RQ2 最先进DCF跟踪器的关键设计创新是什么，这些创新如何提升鲁棒性和效率？
• RQ3 在计算资源受限的无人机平台部署时，DCF跟踪器的主要局限性是什么？
• RQ4 机械振动和低帧率等因素如何影响DCF跟踪器的性能？
• RQ5 基于DCF的无人机跟踪领域仍存在哪些开放性挑战和未来研究方向？

主要发现

• 基于DCF的跟踪器在单个CPU上表现出高计算效率和强鲁棒性，适用于机载无人机部署。
• 在六个基准上的评估结果表明，DCF跟踪器在速度和中等干扰下的稳定性方面保持了有竞争力的性能。
• 尽管性能表现良好，DCF跟踪器在处理大尺度变化、严重遮挡以及强风条件下的快速运动时仍面临挑战。
• 研究识别出特征表示和核函数设计是影响跟踪器鲁棒性的关键因素，部分先进方法在精度和成功率方面表现出显著提升。
• 基准上的定量结果显示，表现最佳的DCF跟踪器在UAV123和UAV20L上的平均成功率超过0.70，在VisDrone2019-SOT上的精度得分超过0.65。
• 分析揭示，在低帧率场景（如10fps）下性能持续下降，表明未来基于DCF的设计需要改进时间建模能力。