[论文解读] MFL-YOLO: An Object Detection Model for Damaged Traffic Signs

Tengyang Chen, Jiangtao Ren|arXiv (Cornell University)|Sep 13, 2023

Infrastructure Maintenance and MonitoringEngineering被引用 3

一句话总结

该论文提出MFL-YOLO，一种基于YOLOv5s的物体检测模型，通过引入跨层级相互特征损失以及高效主干模块（GSConv和VoVGSCSP），提升了对破损交通标志的检测性能。该方法在mAP上提升5.1%，F1分数提升4.3%，同时FLOPs降低8.9%，并通过Grad-CAM可视化展示了其在细粒度损伤特征定位上的优越表现。

ABSTRACT

Traffic signs are important facilities to ensure traffic safety and smooth flow, but may be damaged due to many reasons, which poses a great safety hazard. Therefore, it is important to study a method to detect damaged traffic signs. Existing object detection techniques for damaged traffic signs are still absent. Since damaged traffic signs are closer in appearance to normal ones, it is difficult to capture the detailed local damage features of damaged traffic signs using traditional object detection methods. In this paper, we propose an improved object detection method based on YOLOv5s, namely MFL-YOLO (Mutual Feature Levels Loss enhanced YOLO). We designed a simple cross-level loss function so that each level of the model has its own role, which is beneficial for the model to be able to learn more diverse features and improve the fine granularity. The method can be applied as a plug-and-play module and it does not increase the structural complexity or the computational complexity while improving the accuracy. We also replaced the traditional convolution and CSP with the GSConv and VoVGSCSP in the neck of YOLOv5s to reduce the scale and computational complexity. Compared with YOLOv5s, our MFL-YOLO improves 4.3 and 5.1 in F1 scores and mAP, while reducing the FLOPs by 8.9%. The Grad-CAM heat map visualization shows that our model can better focus on the local details of the damaged traffic signs. In addition, we also conducted experiments on CCTSDB2021 and TT100K to further validate the generalization of our model.

研究动机与目标

• 为解决缺乏针对破损交通标志的专用目标检测方法的问题，这些标志在视觉上与正常标志相似。
• 通过改进检测头各层级之间的特征表示，增强对细粒度局部损伤的特征学习能力。
• 在保持或降低计算成本的同时，提升破损标志的检测精度。
• 开发一种即插即用模块，增强YOLOv5s而无需增加结构复杂度。
• 在CCTSDB2021和TT100K等公开基准上验证模型的泛化能力。

提出的方法

• 提出一种新颖的跨层级相互特征损失（MFL），为YOLOv5s颈部的每个特征层级分配不同角色，实现更丰富且具有区分性的特征学习。
• 在主干网络和颈部结构中集成GSConv和VoVGSCSP模块，降低模型大小和计算复杂度，同时保持性能。
• 设计MFL-YOLO框架作为YOLOv5s的即插即用增强模块，保留原始架构的同时提升特征抽象能力。
• 采用Grad-CAM可视化分析注意力聚焦区域，证实MFL-YOLO在损伤区域的定位能力更强。
• 在自建数据集和公开数据集（包括CCTSDB2021和TT100K）上进行训练与评估，以检验模型的鲁棒性与泛化能力。
• 使用mAP和F1分数等标准指标，定量评估不同设置下的检测性能。

实验结果

研究问题

• RQ1 跨层级损失函数是否能改善对交通标志中细微损伤的特征表示？
• RQ2 用GSConv和VoVGSCSP替代标准卷积是否能在降低计算成本的同时保持或提升检测精度？
• RQ3 MFL-YOLO模型能否在CCTSDB2021和TT100K等多样化数据集上实现有效泛化？
• RQ4 与YOLOv5s相比，该模型的注意力聚焦在突出局部损伤特征方面有何差异？
• RQ5 即插即用的MFL-YOLO模块在不增加FLOPs的前提下，对mAP和F1分数的提升程度如何？

主要发现

• 与YOLOv5s相比，MFL-YOLO在破损交通标志检测任务中mAP提升5.1%，F1分数提升4.3%。
• 通过使用GSConv和VoVGSCSP，模型FLOPs降低8.9%，实现了更高的效率。
• Grad-CAM可视化结果表明，MFL-YOLO对局部损伤区域的聚焦比YOLOv5s更精确。
• 模型泛化能力强，在CCTSDB2021和TT100K两个基准上均表现出色。
• MFL损失函数使每个特征层级能够学习到不同且互补的表示，增强了细粒度特征学习能力。
• MFL-YOLO的即插即用特性使其可无缝集成到现有YOLOv5s流程中，无需重构网络结构。