[论文解读] Leveraging Synthetic Data in Object Detection on Unmanned Aerial Vehicles

Benjamin Kiefer, David J. Ott+1 more|arXiv (Cornell University)|Dec 22, 2021

Advanced Neural Network Applications被引用 4

一句话总结

本文提出通过扩展的DeepGTAV框架，利用《侠盗猎车手V》（GTAV）中的高分辨率合成数据，提升无人飞行器（UAV）上的目标检测性能。通过在多样化UAV场景中生成大规模、元数据对齐的合成数据集，并应用合成预训练，该方法在性能上达到与仅使用真实数据训练相当的水平，关键优势来自图形质量与元数据对齐——尤其在针对特定相机角度或一天中时间分布时表现更优。

ABSTRACT

Acquiring data to train deep learning-based object detectors on Unmanned Aerial Vehicles (UAVs) is expensive, time-consuming and may even be prohibited by law in specific environments. On the other hand, synthetic data is fast and cheap to access. In this work, we explore the potential use of synthetic data in object detection from UAVs across various application environments. For that, we extend the open-source framework DeepGTAV to work for UAV scenarios. We capture various large-scale high-resolution synthetic data sets in several domains to demonstrate their use in real-world object detection from UAVs by analyzing multiple training strategies across several models. Furthermore, we analyze several different data generation and sampling parameters to provide actionable engineering advice for further scientific research. The DeepGTAV framework is available at https://git.io/Jyf5j.

研究动机与目标

• 解决真实世界UAV目标检测数据集稀缺且成本高昂的问题，这些问题受法律限制、隐私担忧及复杂数据采集的制约。
• 通过利用合成数据生成作为可扩展的替代方案，克服UAV目标检测中的域偏移与性能差距。
• 通过有针对性的数据生成与元数据对齐，提升合成数据向真实UAV应用的可迁移性。
• 提供关于合成数据生成参数（如图形质量、元数据对齐与数据采样策略）的可操作工程见解，以实现最优模型性能。
• 证明合成预训练在结合领域自适应数据筛选时，可匹配或超越仅使用真实数据训练的性能。

提出的方法

• 扩展DeepGTAV框架以支持空中相机配置，包括GTAV中动态目标与相机的位置、旋转及环境操作。
• 在不同UAV应用领域中生成三个大规模、高分辨率（4K）的合成目标检测数据集：交通监控（VisDrone）、海上搜救（SeaDronesSee）和牲畜监测（Cattle）。
• 通过采样合成数据分布（如一天中时间、相机角度）以匹配真实世界数据分布，实现元数据的自动化提取与对齐。
• 在生成的数据集上，使用合成数据训练和合成到真实迁移学习策略，对YOLOv5和EfficientDet-D0模型进行训练。
• 通过消融实验评估图形质量（高 vs. 低）、数据量、ImageNet预训练以及元数据对齐对mAP@50的影响。
• 采用自举抽样与分布匹配方法，创建镜像真实世界数据特征的合成子集，提升数据效率与模型泛化能力。

Figure 1: Real (left) and synthetic (right) image samples in different applications scenarios with ground truth annotations. Representative objects are magnified.

实验结果

研究问题

• RQ1 来自类似GTAV的视频游戏引擎的合成数据能否有效提升真实UAV图像上的目标检测性能？
• RQ2 仿真引擎的图形质量在多大程度上影响合成数据向真实世界UAV检测任务的可迁移性？
• RQ3 将合成数据分布（如一天中时间、相机角度）与真实世界数据对齐，在多大程度上能提升模型性能？
• RQ4 合成预训练是否能超越或匹配仅使用真实数据训练的性能？在何种条件下实现？
• RQ5 在结合合成数据用于UAV检测时，大规模自然图像数据集上的预训练起什么作用？

主要发现

• 使用高质量GTAV数据进行合成预训练，将VisDrone数据集上的微调mAP@50从43.9（仅真实数据基线）提升至45.1，证明了有效的域迁移。
• 高质量图形的合成数据相比低质量设置，在纯合成训练中使mAP@50提升1.8%（10.2 vs. 8.4），尽管在迁移学习中该影响减弱。
• 将合成数据对齐至真实世界的时间分布（如一天中时间）使SeaDronesSee上的合成数据mAP@50提升4.1分（从10.5增至14.6），在迁移学习中增益较小。
• 仅限制合成数据为向下视角（与真实Cattle数据集的相机角度相差20°以内）可使合成数据mAP@50从29.2提升至36.6，表明有针对性的数据筛选可显著提升效率。
• 合成到真实迁移学习在Cattle数据集上达到85.8 mAP@50，在SeaDronesSee上达到60.5 mAP@50，部分情况下匹配或超过仅真实数据的基线性能。
• 在所有设置中，ImageNet预训练均持续提升性能，且未观察到与合成数据存在交互效应，表明二者具有互补优势。

Figure 2: The effect of the real and synthetic data set size on the model performance for VisDrone and SeaDronesSee. The color shading specifies the size of the synthetic data set that was used for pre-training.