[论文解读] Analysis and Adaptation of YOLOv4 for Object Detection in Aerial Images

Aryaman Singh Samyal, K R Akshatha+3 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本论文在VisDrone DET数据集上通过迁移学习将YOLOv4适配于航空目标检测，实现了45.64%的mAP和8.7 FPS的推理速度（在Tesla K80上）。该模型在高密度航空场景中对小尺寸、截断和遮挡目标的检测表现优异，相较于现有最先进检测器，在无人机实时应用中兼具更高的速度与精度。

ABSTRACT

The recent and rapid growth in Unmanned Aerial Vehicles (UAVs) deployment for various computer vision tasks has paved the path for numerous opportunities to make them more effective and valuable. Object detection in aerial images is challenging due to variations in appearance, pose, and scale. Autonomous aerial flight systems with their inherited limited memory and computational power demand accurate and computationally efficient detection algorithms for real-time applications. Our work shows the adaptation of the popular YOLOv4 framework for predicting the objects and their locations in aerial images with high accuracy and inference speed. We utilized transfer learning for faster convergence of the model on the VisDrone DET aerial object detection dataset. The trained model resulted in a mean average precision (mAP) of 45.64% with an inference speed reaching 8.7 FPS on the Tesla K80 GPU and was highly accurate in detecting truncated and occluded objects. We experimentally evaluated the impact of varying network resolution sizes and training epochs on the performance. A comparative study with several contemporary aerial object detectors proved that YOLOv4 performed better, implying a more suitable detection algorithm to incorporate on aerial platforms.

研究动机与目标

• 解决无人机拍摄的航空图像中检测小尺寸、密集排列、截断和遮挡目标的挑战。
• 提升在计算资源受限的航空平台上的实时部署中检测精度与推理速度。
• 通过在VisDrone数据集上与当前主流检测器对比，评估YOLOv4在航空检测中的有效性。
• 研究输入分辨率和训练轮数对YOLOv4在航空目标检测中性能的影响。
• 展示迁移学习与数据增强在提升YOLOv4对尺度和遮挡变化鲁棒性方面的实用性。

提出的方法

• 使用ImageNet预训练权重对YOLOv4进行微调，通过迁移学习加速在VisDrone DET数据集上的收敛。
• 通过PANet和空间金字塔池化（SPP）实现多尺度特征融合，以增强感受野和特征表示能力。
• 应用一系列数据增强技术（免费工具包，Bag of Freebies），包括mixup、mosaic和随机缩放，以提升泛化能力和鲁棒性。
• 在不同输入分辨率（416×416至1120×1120）下训练模型，以分析精度与推理速度之间的权衡。
• 以IoU=0.5时的平均精度均值（mAP）和推理速度（FPS）作为在VisDrone测试集上的主要评估指标。
• 优化学习率、批量大小和训练轮数等超参数，以在保持实时性能的前提下最大化mAP。

实验结果

研究问题

• RQ1 YOLOv4能否在VisDrone数据集上实现高精度与实时推理速度的航空目标检测？
• RQ2 输入分辨率如何影响YOLOv4在航空检测任务中的mAP与推理速度？
• RQ3 迁移学习在小目标密集的航空数据集上能在多大程度上提升收敛速度与模型性能？
• RQ4 与其它最先进检测器相比，YOLOv4在检测截断和遮挡目标方面表现如何？
• RQ5 在计算资源有限的无人机上部署时，如何实现模型精度与推理速度的最佳平衡？

主要发现

• YOLOv4在VisDrone DET数据集上实现了45.64%的平均精度均值（mAP），在精度和速度方面均优于多个当前主流检测器。
• 该模型在Tesla K80 GPU上实现了8.7 FPS的推理速度，证明其在无人机部署中具备实时可行性。
• 将输入分辨率从416×416提升至768×768，显著提升了小目标检测能力，mAP从33.06%提升至45.64%。
• 在416×416分辨率下，模型成功检测到9.92%的“person”实例和8.91%的“bicycle”实例，表明经过分辨率与架构优化后，小目标检测能力得到显著增强。
• 尽管YOLOv4在推理速度上优于两阶段检测器（如ACM-OD和DPNet-ensemble），实现了8.7 FPS，而后者速度明显更低。
• 尽管在VisDrone评估中排除了遮挡超过50%目标的预测（该数据集的限制），YOLOv4仍实现了更高的mAP，表明其对截断和遮挡具有极强的鲁棒性。