[论文解读] Drone Based RGBT Vehicle Detection and Counting: A Challenge

Pengfei Zhu, Yiming Sun+3 more|arXiv (Cornell University)|Mar 5, 2020

Video Surveillance and Tracking Methods参考文献 62被引用 8

一句话总结

本论文提出了DroneVehicle，一个大规模的RGBT（RGB与热成像红外）基准数据集，包含15,532对图像和441,642个标注的车辆实例，覆盖多样化的城市环境和光照条件。该数据集支持基于无人机的视觉分析的先进评估，尤其适用于在光照变化、遮挡和尺度变化等挑战性条件下进行目标检测与计数任务的评估。

ABSTRACT

Camera-equipped drones can capture targets on the ground from a wider field of view than static cameras or moving sensors over the ground. In this paper we present a large-scale vehicle detection and counting benchmark, named DroneVehicle, aiming at advancing visual analysis tasks on the drone platform. The images in the benchmark were captured over various urban areas, which include different types of urban roads, residential areas, parking lots, highways, etc., from day to night. Specifically, DroneVehicle consists of 15,532 pairs of images, i.e., RGB images and infrared images with rich annotations, including oriented object bounding boxes, object categories, etc. With intensive amount of effort, our benchmark has 441,642 annotated instances in 31,064 images. As a large-scale dataset with both RGB and thermal infrared (RGBT) images, the benchmark enables extensive evaluation and investigation of visual analysis algorithms on the drone platform. In particular, we design two popular tasks with the benchmark, including object detection and object counting. All these tasks are extremely challenging in the proposed dataset due to factors such as illumination, occlusion, and scale variations. We hope the benchmark largely boost the research and development in visual analysis on drone platforms. The DroneVehicle dataset can be download from this https URL.

研究动机与目标

• 解决基于无人机的视觉分析中缺乏大规模、多模态数据集的问题，特别是结合RGB与热成像红外数据的挑战。
• 提供一个全面的基准，用于评估复杂城市环境中目标检测与计数算法的性能。
• 支持在光照变化、遮挡和尺度变化等挑战性条件下进行视觉分析研究。
• 通过标准化、丰富标注的数据，实现对基于RGBT的算法在无人机平台上的系统性评估与持续进步。
• 通过公开可用的数据集，促进实际无人机应用中鲁棒视觉分析系统的开发。

提出的方法

• 从安装在无人机上的相机在多样化城市环境中采集15,532对同步的RGB与热成像红外图像。
• 为每对图像标注定向目标边界框、目标类别以及详细的实例级信息。
• 确保全面覆盖城市环境，包括高速公路、住宅区、停车场以及白天/夜间条件。
• 将数据集结构化以支持两项主要任务：车辆检测与车辆计数，并采用标准化的评估协议。
• 实施严格的数据整理流程，以确保标注的高质量与数据集内的一致性。
• 公开发布完整数据集，以促进可复现性，并推动基于无人机的视觉分析领域的社区发展。

实验结果

研究问题

• RQ1 当前基于RGBT的算法在无人机捕获的图像中，面对光照变化与遮挡条件时，检测与计数车辆的性能如何？
• RQ2 与仅使用RGB的方法相比，引入热成像红外数据在多大程度上提升了检测与计数性能？
• RQ3 尺度变化与复杂的城市布局如何影响视觉分析模型在无人机捕获数据上的表现？
• RQ4 在无人机平台上部署视觉分析系统面临的主要挑战是什么？DroneVehicle基准在多大程度上捕捉到了这些挑战？
• RQ5 DroneVehicle基准能否作为训练和评估下一代基于无人机的视觉分析模型的可靠且可扩展的基础？

主要发现

• DroneVehicle基准包含31,064张图像，标注了441,642个车辆实例，是目前公开可用的用于基于无人机视觉分析的最大规模RGBT数据集之一。
• 该数据集覆盖多样的城市环境，包含白天与夜间图像，捕捉了显著的光照变化与场景复杂性差异。
• 热成像红外数据的引入在低能见度与高遮挡场景中实现了性能提升，这通过基准设计中对这些条件的针对性支持得以体现。
• 该基准支持两项主要任务——目标检测与目标计数——这两项任务均受到尺度变化与遮挡的显著挑战。
• 该数据集可通过提供的URL公开获取，为基于无人机的视觉分析研究与开发提供了广泛访问支持。
• 该基准旨在支持RGBT视觉分析的广泛评估与创新，具有加速实际无人机应用中技术进步的潜力。