[論文レビュー] MFL-YOLO: An Object Detection Model for Damaged Traffic Signs

Tengyang Chen, Jiangtao Ren|arXiv (Cornell University)|Sep 13, 2023

Infrastructure Maintenance and MonitoringEngineering被引用数 3

ひとこと要約

本稿では、MFL-YOLOを提案する。これは、YOLOv5sをベースとしたオブジェクト検出モデルであり、クロスレベル相互特徴損失と効率的なバックボーンモジュール（GSConvおよびVoVGSCSP）を組み合わせることで、損傷のある交通標識の検出を向上させたものである。本手法は、mAPを5.1%向上させ、F1スコアを4.3%向上させるとともに、FLOPsを8.9%削減した。Grad-CAM可視化により、微細な損傷特徴の局所化が向上していることが示された。

ABSTRACT

Traffic signs are important facilities to ensure traffic safety and smooth flow, but may be damaged due to many reasons, which poses a great safety hazard. Therefore, it is important to study a method to detect damaged traffic signs. Existing object detection techniques for damaged traffic signs are still absent. Since damaged traffic signs are closer in appearance to normal ones, it is difficult to capture the detailed local damage features of damaged traffic signs using traditional object detection methods. In this paper, we propose an improved object detection method based on YOLOv5s, namely MFL-YOLO (Mutual Feature Levels Loss enhanced YOLO). We designed a simple cross-level loss function so that each level of the model has its own role, which is beneficial for the model to be able to learn more diverse features and improve the fine granularity. The method can be applied as a plug-and-play module and it does not increase the structural complexity or the computational complexity while improving the accuracy. We also replaced the traditional convolution and CSP with the GSConv and VoVGSCSP in the neck of YOLOv5s to reduce the scale and computational complexity. Compared with YOLOv5s, our MFL-YOLO improves 4.3 and 5.1 in F1 scores and mAP, while reducing the FLOPs by 8.9%. The Grad-CAM heat map visualization shows that our model can better focus on the local details of the damaged traffic signs. In addition, we also conducted experiments on CCTSDB2021 and TT100K to further validate the generalization of our model.

研究の動機と目的

• 損傷のある交通標識のための専用のオブジェクト検出手法の不足に取り組むこと。損傷のある標識は通常のものと視覚的に類似しているため。
• 検出ヘッドの各レベルにおける特徴表現を向上させることで、微細な局所的損傷の特徴学習を強化すること。
• 検出精度を向上させる一方で、計算コストを維持または削減すること。
• 構造的複雑性を増加させることなく、YOLOv5sに簡単に統合可能なプラグアンドプレイモジュールを開発すること。
• CCTSDB2021やTT100Kなどの公開ベンチマークで汎用性を検証すること。

提案手法

• YOLOv5sのネック部における各特徴レベルに異なる役割を割り当てることで、より多様で判別力のある特徴学習を可能にする、新しいクロスレベル相互特徴損失（MFL）を提案する。
• バックボーンおよびネック部にGSConvおよびVoVGSCSPモジュールを統合し、性能に損なわれることなくモデルサイズと計算複雑性を低減する。
• YOLOv5sに統合可能なプラグアンドプレイなMFL-YOLOフレームワークを設計し、元のアーキテクチャを維持しながら特徴抽象化を向上させる。
• 注目度の集中を分析するためにGrad-CAM可視化を用い、損傷領域への注目が向上していることを確認する。
• カスタムデータセットおよび公開データセット（CCTSDB2021およびTT100K）上でモデルを訓練・評価し、頑健性と汎用性を評価する。
• mAPやF1スコアといった標準指標を用いて、さまざまな設定下での検出性能を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 クロスレベル損失関数は、交通標識の微細な損傷を検出するための特徴表現を向上させることができるか？
• RQ2 標準的な畳み込みをGSConvおよびVoVGSCSPに置き換えることで、計算コストを削減しながら検出精度を維持または向上させることができるか？
• RQ3 MFL-YOLOモデルは、CCTSDB2021やTT100Kのような多様なデータセットに効果的に汎用化できるか？
• RQ4 損傷領域の特徴を強調する点で、MFL-YOLOの注目度の集中はYOLOv5sと比べてどのように異なるか？
• RQ5 プラグアンドプレイなMFL-YOLOモジュールは、FLOPsを増加させることなく、mAPおよびF1スコアをどの程度向上させるか？

主な発見

• MFL-YOLOは、損傷のある交通標識の検出タスクにおいて、YOLOv5sと比較してmAPを5.1%向上させ、F1スコアを4.3%向上させた。
• GSConvおよびVoVGSCSPの活用により、FLOPsを8.9%削減し、より高い効率性を達成した。
• Grad-CAM可視化により、MFL-YOLOがYOLOv5sよりもより正確に局所的損傷領域に注目していることが確認された。
• モデルは良好な汎用性を示し、CCTSDB2021およびTT100Kベンチマークの両方で強力な性能を発揮した。
• MFL損失関数により、各特徴レベルが相補的で異なる表現を学習できるようになった。これにより、微細な特徴学習が向上した。
• MFL-YOLOのプラグアンドプレイ性のおかげで、アーキテクチャの大幅な見直しを伴わずに、既存のYOLOv5sパイプラインに容易に統合できる。