[论文解读] A Comprehensive Approach for UAV Small Object Detection with Simulation-based Transfer Learning and Adaptive Fusion

Rui Chen, Youwei Guo+2 more|arXiv (Cornell University)|Sep 4, 2021

Advanced Neural Network Applications参考文献 34被引用 15

一句话总结

本文提出了一种基于仿真迁移学习与自适应特征融合的无人机小目标检测综合方法。该方法利用 AirSim 生成高保真度的合成无人机数据集，应用迁移学习以弥合仿真到真实世界的域差距，并在 YOLOv5 的颈部结构中引入自适应融合机制，以增强小目标的特征表示，相较于基线 YOLOv5 模型实现了 7.1% 的 AP 提升。

ABSTRACT

Precisely detection of Unmanned Aerial Vehicles(UAVs) plays a critical role in UAV defense systems. Deep learning is widely adopted for UAV object detection whereas researches on this topic are limited by the amount of dataset and small scale of UAV. To tackle these problems, a novel comprehensive approach that combines transfer learning based on simulation data and adaptive fusion is proposed. Firstly, the open-source plugin AirSim proposed by Microsoft is used to generate mass realistic simulation data. Secondly, transfer learning is applied to obtain a pre-trained YOLOv5 model on the simulated dataset and fine-tuned model on the real-world dataset. Finally, an adaptive fusion mechanism is proposed to further improve small object detection performance. Experiment results demonstrate the effectiveness of simulation-based transfer learning which leads to a 2.7% performance increase on UAV object detection. Furthermore, with transfer learning and adaptive fusion mechanism, 7.1% improvement is achieved compared to the original YOLO v5 model.

研究动机与目标

• 通过使用 AirSim 生成高保真度的合成无人机数据，解决真实世界无人机检测数据集稀缺的问题。
• 通过利用从仿真数据到真实世界目标域的迁移学习，降低对昂贵的真实世界数据标注的依赖。
• 通过优化浅层与深层网络层之间的特征融合，提升小目标检测性能。
• 开发一种可学习的融合机制，动态平衡特征传播，以增强对小尺度无人机的检测能力。

提出的方法

• 使用微软的 AirSim 仿真平台，生成包含 12 种不同场景和 4 种常见无人机型号的模拟无人机数据集（simUAV）。
• 在模拟数据集上预训练 YOLOv5 模型，以学习适用于无人机检测的泛化特征。
• 在有限的真实世界数据集（RD1）上微调预训练模型，以适应真实域并减少域偏移。
• 通过在 YOLOv5 颈部模块的自顶向下路径中引入可学习融合系数（α），提出一种自适应融合机制（AF-YOLO）。
• 将特征融合过程建模为可微过程，其中 α 值在训练过程中被优化，以抑制对小目标有害的深层特征。
• 使用 AP 指标在不同目标尺寸下评估模型性能，并对融合系数与迁移学习有效性进行消融研究。

实验结果

研究问题

• RQ1 基于仿真的数据生成是否能有效减少对真实世界无人机图像采集与标注的需求？
• RQ2 从仿真数据进行迁移学习在真实世界无人机数据集上的检测性能提升程度如何？
• RQ3 与固定融合策略相比，浅层与深层特征的自适应融合对小目标检测精度的影响如何？
• RQ4 在航空影像中检测小无人机时，深层与浅层特征的最佳平衡是什么？

主要发现

• 与仅在真实世界数据上训练相比，从仿真数据进行迁移学习使 AP 提升了 2.7 个百分点。
• 自适应融合机制（AF-YOLO）相较于原始 YOLOv5 模型，实现了 mAP 的 7.1% 绝对提升。
• 表现最佳的融合策略使用了收敛至 α₄⁵ = -0.231 和 α₃⁴ = 0.013 的自适应系数，表明抑制深层特征可增强小目标检测。
• 固定融合系数为 0.00（即不使用深层特征）的表现优于全融合系数（1.00），证明深层特征可能对小目标检测产生干扰。
• 特征图可视化结果证实，AF-YOLO 能为小无人机生成更具区分度和判别性的表征。
• 结合迁移学习与自适应融合在 RD1 数据集上实现了最高的 mAP（0.636），表明二者产生了协同增益。