[论文解读] Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning

Yiming Sun, Bing Cao+2 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 UA-CMDet，一种新颖的不确定性感知跨模态检测框架，用于基于无人机的RGB-红外车辆检测，通过模态特定的不确定性量化和光照感知非极大值抑制（NMS），在低光照条件下提升性能。该方法在新提出的 DroneVehicle 数据集上取得最先进结果，显著提升了多个车辆类别在检测中的准确性，尤其在具有挑战性的夜间场景中表现突出。

ABSTRACT

Drone-based vehicle detection aims at finding the vehicle locations and categories in an aerial image. It empowers smart city traffic management and disaster rescue. Researchers have made mount of efforts in this area and achieved considerable progress. Nevertheless, it is still a challenge when the objects are hard to distinguish, especially in low light conditions. To tackle this problem, we construct a large-scale drone-based RGB-Infrared vehicle detection dataset, termed DroneVehicle. Our DroneVehicle collects 28, 439 RGB-Infrared image pairs, covering urban roads, residential areas, parking lots, and other scenarios from day to night. Due to the great gap between RGB and infrared images, cross-modal images provide both effective information and redundant information. To address this dilemma, we further propose an uncertainty-aware cross-modality vehicle detection (UA-CMDet) framework to extract complementary information from cross-modal images, which can significantly improve the detection performance in low light conditions. An uncertainty-aware module (UAM) is designed to quantify the uncertainty weights of each modality, which is calculated by the cross-modal Intersection over Union (IoU) and the RGB illumination value. Furthermore, we design an illumination-aware cross-modal non-maximum suppression algorithm to better integrate the modal-specific information in the inference phase. Extensive experiments on the DroneVehicle dataset demonstrate the flexibility and effectiveness of the proposed method for crossmodality vehicle detection. The dataset can be download from https://github.com/VisDrone/DroneVehicle.

研究动机与目标

• 解决基于无人机航拍图像中低光照条件下车辆检测的挑战，其中RGB模态因可见度差而受限。
• 通过融合RGB与红外模态的互补信息，克服单模态检测的局限性。
• 应对跨模态数据中固有的冗余性和不确定性，特别是红外图像中的误检和RGB图像中可见度低的问题。
• 开发一个统一框架，根据不确定性与光照条件动态加权模态，提升模型的鲁棒性与准确性。
• 提供一个大规模、全天时、跨模态数据集（DroneVehicle），以支持未来基于无人机的车辆检测研究。

提出的方法

• 提出一种不确定性感知模块（UAM），利用跨模态交并比（IoU）和RGB光照值量化模态特定的不确定性。
• 将不确定性权重整合到特征融合中，以在训练和推理过程中优先选择可靠模态的信息。
• 设计一种光照感知非极大值抑制（IA-NMS）算法，根据光照条件自适应融合来自两个模态的预测结果。
• 采用多分支检测器（基于RoITransformer）分别处理RGB和红外输入，随后通过不确定性加权进行晚期融合。
• 应用联合优化策略，促进互补特征学习，同时最小化冗余或冲突的预测。
• 利用 DroneVehicle 数据集，其中包含 28,439 对RGB-红外图像，对 953,087 辆车辆进行定向边界框标注，涵盖白天和夜间场景。

实验结果

研究问题

• RQ1 如何有效量化RGB与红外模态中的不确定性，并利用其指导基于无人机的车辆检测中的跨模态特征融合？
• RQ2 光照感知NMS策略是否能通过更优整合模态特定预测，在低光照条件下提升检测性能？
• RQ3 所提出的 UA-CMDet 框架在真实无人机图像上，相较于单模态和现有跨模态检测方法，性能提升程度如何？
• RQ4 大规模、全天时、跨模态数据集（DroneVehicle）的引入，对车辆检测模型的鲁棒性与泛化能力有何影响？
• RQ5 在具有挑战性的夜间条件下，不同车辆类别在检测精度上的具体提升幅度是多少？

主要发现

• 所提出的 UA-CMDet 框架在 DroneVehicle 数据集上达到最先进性能，显著优于基线模型在RGB与红外模态上的表现。
• 在夜间场景中，与单模态基线相比，该方法将汽车检测准确率提升 4.12%，货运车提升 3.95%，卡车提升 9.17%，公共汽车提升 7.6%，厢式货车提升 3.56%。
• 尽管汽车检测准确率略有下降，但整体性能提升显著，主要得益于不确定性感知融合带来的误检和漏检减少。
• 光照感知NMS（IA-NMS）有效减少了由红外图像中“鬼影阴影”和易混淆的矩形物体引起的误检。
• 可视化结果证实，UA-CMDet 能够利用互补的红外线索成功检测低光照RGB图像中的车辆，同时有效抑制仅依赖红外检测的误检。
• DroneVehicle 数据集包含 28,439 对图像和 953,087 个标注车辆，是首个且最大的全天时、跨模态无人机车辆检测数据集，可支持更鲁棒和泛化能力更强的模型训练。