[논문 리뷰] MFL-YOLO: An Object Detection Model for Damaged Traffic Signs

Tengyang Chen, Jiangtao Ren|arXiv (Cornell University)|2023. 09. 13.

Infrastructure Maintenance and MonitoringEngineering인용 수 3

한 줄 요약

이 논문은 손상된 교통 표지의 검출을 향상시키기 위해 YOLOv5s 기반 객체 검출 모델인 MFL-YOLO를 제안한다. 이는 교차 수준 상호 특징 손실과 효율적인 백본 모듈(GSConv 및 VoVGSCSP)을 통합하여 개선된 것으로, mAP는 5.1% 향상되고 F1 스코어는 4.3% 향상되며 FLOPs는 8.9% 감소한다. 또한 Grad-CAM 시각화를 통해 세밀한 손상 특징의 국소화가 향상됨을 확인할 수 있다.

ABSTRACT

Traffic signs are important facilities to ensure traffic safety and smooth flow, but may be damaged due to many reasons, which poses a great safety hazard. Therefore, it is important to study a method to detect damaged traffic signs. Existing object detection techniques for damaged traffic signs are still absent. Since damaged traffic signs are closer in appearance to normal ones, it is difficult to capture the detailed local damage features of damaged traffic signs using traditional object detection methods. In this paper, we propose an improved object detection method based on YOLOv5s, namely MFL-YOLO (Mutual Feature Levels Loss enhanced YOLO). We designed a simple cross-level loss function so that each level of the model has its own role, which is beneficial for the model to be able to learn more diverse features and improve the fine granularity. The method can be applied as a plug-and-play module and it does not increase the structural complexity or the computational complexity while improving the accuracy. We also replaced the traditional convolution and CSP with the GSConv and VoVGSCSP in the neck of YOLOv5s to reduce the scale and computational complexity. Compared with YOLOv5s, our MFL-YOLO improves 4.3 and 5.1 in F1 scores and mAP, while reducing the FLOPs by 8.9%. The Grad-CAM heat map visualization shows that our model can better focus on the local details of the damaged traffic signs. In addition, we also conducted experiments on CCTSDB2021 and TT100K to further validate the generalization of our model.

연구 동기 및 목표

• 손상된 교통 표지에 특화된 객체 검출 방법의 부족을 해결하기 위해, 이는 정상적인 것과 시각적으로 유사하기 때문이다.
• 검출 헤드의 각 수준에서 특징 표현을 향상시켜 미세한 국소 손상에 대한 특징 학습을 개선하기 위해.
• 검출 정확도를 향상시키면서도 계산 비용을 유지하거나 감소시키기 위해.
• 기존 YOLOv5s 아키텍처의 복잡도를 증가시키지 않고도 적용 가능한 플러그 앤 플레이 모듈을 개발하기 위해.
• CCTSDB2021 및 TT100K와 같은 공개 벤치마크에서 일반화 성능을 검증하기 위해.

제안 방법

• YOLOv5s 넹에서 각 특징 수준에 다른 역할을 할 수 있도록 설계된 새로운 교차 수준 상호 특징 손실(MFL)을 제안하여 더 다양한 특징 표현과 분류 능력을 향상시킨다.
• 성능 저하 없이 모델 크기와 계산 복잡도를 줄이기 위해 백본과 넹에 GSConv 및 VoVGSCSP 모듈을 통합한다.
• 기존 아키텍처를 유지하면서 특징 추상화 능력을 향상시키는 플러그 앤 플레이 기반의 MFL-YOLO 프레임워크를 설계한다.
• 주의 집중 영역 분석을 위해 Grad-CAM 시각화를 활용하여 손상 영역에 더 정확하게 집중함을 확인한다.
• 맞춤형 및 공개 데이터셋(CCTSDB2021 및 TT100K 포함)에서 모델을 훈련하고 평가하여 강인성과 일반화 능력을 평가한다.
• mAP 및 F1 스코어와 같은 표준 지표를 사용하여 다양한 설정에서 검출 성능을 정량적으로 평가한다.

실험 결과

연구 질문

• RQ1 교차 수준 손실 함수는 교통 표지의 미세한 손상 검출을 위한 특징 표현을 향상시킬 수 있는가?
• RQ2 표준 컨볼루션을 GSConv 및 VoVGSCSP로 대체하면 계산 비용을 줄일 수 있을까? 이와 동시에 검출 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 MFL-YOLO 모델은 CCTSDB2021 및 TT100K와 같은 다양한 데이터셋에 효과적으로 일반화될 수 있는가?
• RQ4 손상된 영역의 특징을 강조하는 데 있어 MFL-YOLO의 주의 집중 방식은 YOLOv5s와 비교해 어떻게 다른가?
• RQ5 플러그 앤 플레이 기반의 MFL-YOLO 모듈은 FLOPs를 증가시키지 않으면서 mAP와 F1 스코어를 얼마나 향상시킬 수 있는가?

주요 결과

• MFL-YOLO는 손상된 교통 표지 검출 작업에서 YOLOv5s 대비 mAP를 5.1% 향상시키고 F1 스코어를 4.3% 향상시켰다.
• GSConv 및 VoVGSCSP의 적용으로 FLOPs가 8.9% 감소하여 더 높은 효율성을 달성했다.
• Grad-CAM 시각화 결과 MFL-YOLO가 YOLOv5s보다 손상 영역에 더 정확하게 주의를 기울임을 확인할 수 있었다.
• 모델은 우수한 일반화 성능을 보이며, CCTSDB2021 및 TT100K 벤치마크 모두에서 강력한 성능을 달성했다.
• MFL 손실 함수는 각 특징 수준가 서로 다른 보완적인 표현을 학습할 수 있도록 하여 세밀한 특징 학습 능력을 향상시켰다.
• MFL-YOLO의 플러그 앤 플레이 성격 덕분에 아키텍처를 대대적으로 수정하지 않고도 기존 YOLOv5s 파ip라인에 쉽게 통합할 수 있었다.