[论文解读] Efficient Object Detection Model for Real-Time UAV Applications

Subrahmanyam Vaddi, Chandan Kumar+1 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 22被引用 14

一句话总结

该论文提出了一种轻量级、实时的无人机目标检测模型，采用MobileNet作为骨干网络，结合改进的焦点损失函数，并利用深度特征金字塔网络（DFPN），在真实无人机硬件上实现了14 fps的推理速度和29.2 mAP的性能，优于RetinaNet和HAL-RetinaNet在速度和效率方面的表现，同时保持了较高的准确率和低功耗。

ABSTRACT

Unmanned Aerial Vehicles (UAVs) especially drones, equipped with vision techniques have become very popular in recent years, with their extensive use in wide range of applications. Many of these applications require use of computer vision techniques, particularly object detection from the information captured by on-board camera. In this paper, we propose an end to end object detection model running on a UAV platform which is suitable for real-time applications. We propose a deep feature pyramid architecture which makes use of inherent properties of features extracted from Convolutional Networks by capturing more generic features in the images (such as edge, color etc.) along with the minute detailed features specific to the classes contained in our problem. We use VisDrone-18 dataset for our studies which contain different objects such as pedestrians, vehicles, bicycles etc. We provide software and hardware architecture of our platform used in this study. We implemented our model with both ResNet and MobileNet as convolutional bases. Our model combined with modified focal loss function, produced a desirable performance of 30.6 mAP for object detection with an inference time of 14 fps. We compared our results with RetinaNet-ResNet-50 and HAL-RetinaNet and shown that our model combined with MobileNet as backend feature extractor gave the best results in terms of accuracy, speed and memory efficiency and is best suitable for real time object detection with drones.

研究动机与目标

• 开发一种计算高效、内存轻量的目标检测模型，适用于资源受限的无人机平台实时部署。
• 通过改进的焦点损失函数解决目标检测中的类别不平衡问题，提升对小目标和稀有目标的检测性能。
• 在不牺牲嵌入式无人机硬件上检测准确率的前提下，优化推理速度和能效。
• 通过mAP、速度和能耗指标，对比分析ResNet和MobileNet作为骨干网络时的模型性能。
• 在真实四旋翼无人机上部署并验证模型，基于VisDrone’18数据集实现真实世界空基目标检测。

提出的方法

• 提出一种深度特征金字塔网络（DFPN），通过融合卷积层中的多尺度特征，增强特征表示能力，提升对小尺寸和尺寸多变目标的检测效果。
• 采用MobileNet作为骨干特征提取器，降低模型大小和计算成本，提升推理速度和内存效率。
• 集成改进的焦点损失函数，缓解类别不平衡问题，尤其针对稀有或小目标，提升检测可靠性。
• 在包含行人、车辆和自行车等多种空基目标的VisDrone’18数据集上进行模型训练。
• 将训练好的模型部署在搭载于真实四旋翼无人机上的NVIDIA Jetson TX2嵌入式平台，实现端到端实时推理。
• 通过mAP、推理速度（fps）和功耗测量评估模型的实时可行性与能效表现。

实验结果

研究问题

• RQ1 轻量级目标检测模型是否能在资源受限的嵌入式无人机硬件上实现≥10 fps的实时推理，同时保持高mAP？
• RQ2 DFPN与改进焦点损失函数的结合如何提升小目标或稀有目标在航拍图像中的检测准确率？
• RQ3 在使用MobileNet与ResNet作为骨干网络时，检测准确率、推理速度与模型大小之间存在何种权衡？
• RQ4 在VisDrone’18基准测试中，所提模型与SOTA模型（如RetinaNet和HAL-RetinaNet）在性能和效率方面相比如何？
• RQ5 该模型在无人机平台上在多大程度上降低了功耗和内存占用，从而实现更长的续航时间？

主要发现

• 采用MobileNet作为骨干网络的模型实现了14 fps的推理速度，满足无人机应用的实时性要求。
• 该模型在VisDrone’18数据集上达到29.2 mAP，优于RetinaNet（23 mAP），并接近HAL-RetinaNet（31.8 mAP）的准确率。
• 基于MobileNet的模型将参数量减少至13.5亿，功耗降低至85W，显著提升了能效和内存占用效率。
• DFPN架构通过融合多尺度特征，增强了特征表示能力，提升了对小目标和遮挡目标的检测效果。
• 改进的焦点损失函数有效缓解了类别不平衡的影响，尤其在稀有目标类别上表现更优。
• 模型在真实场景中表现出色，能够高可靠地检测实时无人机拍摄的航拍图像中的各类目标。