[论文解读] Detection and Tracking Meet Drones Challenge

Pengfei Zhu, Longyin Wen+5 more|arXiv (Cornell University)|Jan 16, 2020

Video Surveillance and Tracking Methods参考文献 149被引用 14

一句话总结

本文介绍了VisDrone，一个大规模、全标注的无人机视频分析基准数据集，包含263段视频剪辑和179,264帧，涵盖四个赛道：图像检测、视频检测、单目标跟踪和多目标跟踪。该数据集能够全面评估在真实无人机挑战（如视角和尺度变化、运动模糊、小目标检测）下的目标检测与跟踪算法，显著推动了航拍视觉系统的研究进展。

ABSTRACT

Drones, or general UAVs, equipped with cameras have been fast deployed with a wide range of applications, including agriculture, aerial photography, and surveillance. Consequently, automatic understanding of visual data collected from drones becomes highly demanding, bringing computer vision and drones more and more closely. To promote and track the developments of object detection and tracking algorithms, we have organized three challenge workshops in conjunction with ECCV 2018, ICCV 2019 and ECCV 2020, attracting more than 100 teams around the world. We provide a large-scale drone captured dataset, VisDrone, which includes four tracks, i.e., (1) image object detection, (2) video object detection, (3) single object tracking, and (4) multi-object tracking. In this paper, we first present a thorough review of object detection and tracking datasets and benchmarks, and discuss the challenges of collecting large-scale drone-based object detection and tracking datasets with fully manual annotations. After that, we describe our VisDrone dataset, which is captured over various urban/suburban areas of 14 different cities across China from North to South. Being the largest such dataset ever published, VisDrone enables extensive evaluation and investigation of visual analysis algorithms for the drone platform. We provide a detailed analysis of the current state of the field of large-scale object detection and tracking on drones, and conclude the challenge as well as propose future directions. We expect the benchmark largely boost the research and development in video analysis on drone platforms. All the datasets and experimental results can be downloaded from https://github.com/VisDrone/VisDrone-Dataset.

研究动机与目标

• 为解决无人机视频分析中缺乏大规模、全标注数据集的问题，该问题阻碍了目标检测与跟踪技术的发展。
• 在ECCV 2018、ICCV 2019和ECCV 2020组织国际挑战赛，以评估并推动无人机视觉领域最先进算法的发展。
• 提供一个全面的基准，涵盖14个中国城市的多样化城市与郊区场景，覆盖真实世界挑战，如视角变化、尺度变化和运动模糊。
• 在真实条件下评估检测与跟踪模型的性能，包括小目标检测与遮挡或模糊情况下的跟踪。
• 通过识别尚未解决的问题（如运动建模、效率约束和小目标表征）来引导未来研究。

提出的方法

• VisDrone数据集采集自中国14座城市，涵盖不同高度和光照条件下的多样化城市与郊区环境。
• 数据集包含四个赛道：图像检测、视频检测、单目标跟踪和多目标跟踪，每个赛道均有预定义的评估协议。
• 所有标注均通过人工方式完成，使用边界框和实例ID，确保帧间标注的高质量与一致性。
• 挑战赛框架采用标准指标，如检测任务的mAP和跟踪任务的MOTA，评估涵盖准确率与鲁棒性。
• 基准支持检测与跟踪模型的端到端评估，包括利用时空上下文的联合框架。
• 数据集通过GitHub公开，支持可复现性，并推动无人机视觉研究的社区发展。

实验结果

研究问题

• RQ1 现有目标检测与跟踪算法在具有极端视角和尺度变化的大规模真实无人机视频序列上的表现如何？
• RQ2 当前模型在处理航拍视频中的运动模糊、小目标检测和遮挡时，其关键失效模式是什么？
• RQ3 通过利用无人机视频中的时空一致性，联合检测与跟踪框架能在多大程度上提升性能？
• RQ4 如何在资源受限的无人机平台部署时，平衡模型效率与准确性？
• RQ5 自动化神经架构搜索（AutoNAS）在设计高效且准确的无人机视觉系统模型方面可能发挥什么作用？

主要发现

• VisDrone数据集是迄今为止最大规模的公开无人机基准，包含263段视频剪辑和179,264帧标注，覆盖14个中国城市的多样化城市与郊区场景。
• 挑战赛吸引了全球超过100支研究团队参与，显示出社区对该领域高度关注及无人机视觉算法的积极发展态势。
• 当前最先进模型在小目标、运动模糊和视角变化方面仍表现不佳，表明仍有巨大改进空间。
• 联合检测与跟踪框架通过利用时间一致性，在性能上展现出潜力，尤其在外观对比度低的场景中表现更优。
• 亟需为无人机边缘设备量身定制高效模型架构，自动化架构搜索（AutoNAS）正成为未来关键发展方向。
• 该数据集支持对失败案例（如ID切换、误报和轨迹碎片化）的详细分析，揭示了当前跟踪系统的关键局限。