[论文解读] Comparison of Object Detection Algorithms for Street-level Objects

Martinus Grady Naftali, Jason Sebastian Sulistyawan+1 more|arXiv (Cornell University)|Aug 24, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本研究在经过修改的Udacity自动驾驶汽车数据集上评估了五种单阶段目标检测算法——SSD MobileNetv2 FPN-lite、YOLOv3、YOLOv4、YOLOv5l 和 YOLOv5s——用于街景级目标检测。YOLOv5l 达到了最高的准确率（mAP@.5: 0.593），SSD MobileNetv2 FPN-lite 速度最快（推理时间 3.20ms），而 YOLOv5s 在实时应用（如自动驾驶汽车）中实现了速度与准确率的最佳平衡。

ABSTRACT

Object detection for street-level objects can be applied to various use cases, from car and traffic detection to the self-driving car system. Therefore, finding the best object detection algorithm is essential to apply it effectively. Many object detection algorithms have been released, and many have compared object detection algorithms, but few have compared the latest algorithms, such as YOLOv5, primarily which focus on street-level objects. This paper compares various one-stage detector algorithms; SSD MobileNetv2 FPN-lite 320x320, YOLOv3, YOLOv4, YOLOv5l, and YOLOv5s for street-level object detection within real-time images. The experiment utilizes a modified Udacity Self Driving Car Dataset with 3,169 images. Dataset is split into train, validation, and test; Then, it is preprocessed and augmented using rescaling, hue shifting, and noise. Each algorithm is then trained and evaluated. Based on the experiments, the algorithms have produced decent results according to the inference time and the values of their precision, recall, F1-Score, and Mean Average Precision (mAP). The results also shows that YOLOv5l outperforms the other algorithms in terms of accuracy with a mAP@.5 of 0.593, MobileNetv2 FPN-lite has the fastest inference time among the others with only 3.20ms inference time. It is also found that YOLOv5s is the most efficient, with it having a YOLOv5l accuracy and a speed almost as quick as the MobileNetv2 FPN-lite. This shows that various algorithm are suitable for street-level object detection and viable enough to be used in self-driving car.

研究动机与目标

• 评估现代单阶段目标检测算法在街景级目标检测任务中的表现。
• 比较 YOLOv3、YOLOv4、YOLOv5l、YOLOv5s 和 SSD MobileNetv2 FPN-lite 在推理速度、精确率、召回率、F1 分数和 mAP 上的表现。
• 识别最适合自动驾驶等实时应用的算法。
• 评估数据增强（缩放、色调调整、噪声注入）对模型泛化能力和鲁棒性的影响。
• 为最新 YOLOv5 变体在真实世界驾驶数据集上相对于先前模型的表现提供实证基准。

提出的方法

• 在包含 3,169 张图像的修改版 Udacity 自动驾驶汽车数据集上，训练并评估了五种单阶段检测器：SSD MobileNetv2 FPN-lite、YOLOv3、YOLOv4、YOLOv5l 和 YOLOv5s。
• 采用标准的 70/15/15 拆分方式将数据集划分为训练集、验证集和测试集。
• 应用了数据增强技术：图像缩放、色调调整和噪声注入，以提升模型的泛化能力。
• 在配备第 8 代 Intel i5-8600K CPU、GTX 1050 Ti GPU 和 16GB 内存的系统上，通过精确率、召回率、F1 分数、mAP@.5、mAP@.5:95 和推理时间来衡量性能。
• 使用 IoU 阈值 0.5 和 0.5–0.95 计算 mAP，其中 mAP@.5:95 表示在多个 IoU 阈值下的平均精确率。
• 使用标准目标检测指标评估模型：精确率 = TP / (TP + FP)，召回率 = TP / (TP + FN)，F1 分数 = 2 × (精确率 × 召回率) / (精确率 + 召回率)。

实验结果

研究问题

• RQ1 在修改后的 Udacity 数据集上，哪种单阶段目标检测算法在街景级目标检测中实现了最高的 mAP？
• RQ2 哪种算法的推理时间最快，适合在自动驾驶汽车中实现实时部署？
• RQ3 YOLOv5 新型模型（YOLOv5l 和 YOLOv5s）在相同基准测试中与 YOLOv3 和 YOLOv4 相比，在准确率和速度方面表现如何？
• RQ4 数据增强在多大程度上提升了不同模型的检测性能？
• RQ5 YOLOv5s 是否能实现准确率与速度的良好权衡，从而成为实时自动驾驶应用的理想选择？

主要发现

• YOLOv5l 达到了最高的 mAP@.5 得分为 0.593，在所有模型中准确率最高。
• SSD MobileNetv2 FPN-lite 的推理时间最快，为 3.20ms，是实时推理中最高效的模型。
• YOLOv5s 的 mAP@.5 为 0.530，仅比 YOLOv5l 的 0.593 低 11%，同时保持了 8.50ms 的快速推理时间。
• YOLOv4 在 F1 分数、精确率和 mAP 方面均表现不如 YOLOv5l 和 YOLOv3，且推理时间最慢，达到 27.90ms。
• YOLOv5s 展现出准确率与速度的出色平衡，使其成为实时自动驾驶汽车应用的最理想模型。
• SSD MobileNetv2 FPN-lite 的 mAP@.5 最低（0.315），表明尽管其速度占优，但检测准确率较差。