[논문 리뷰] A Computer Vision Enabled damage detection model with improved YOLOv5 based on Transformer Prediction Head

Arunabha M. Roy, Jayabrata Bhaduri|arXiv (Cornell University)|2023. 03. 07.

Infrastructure Maintenance and Monitoring인용 수 22

한 줄 요약

DenseSPH-YOLOv5는 DenseNet 블록, CBAM, 초소형 객체 헤드 및 Swin Transformer 예측 헤드를 YOLOv5에 통합하여 RDD-2018에서 고정밀 실시간 도로 손상 탐지를 달성합니다.

ABSTRACT

Objective:Computer vision-based up-to-date accurate damage classification and localization are of decisive importance for infrastructure monitoring, safety, and the serviceability of civil infrastructure. Current state-of-the-art deep learning (DL)-based damage detection models, however, often lack superior feature extraction capability in complex and noisy environments, limiting the development of accurate and reliable object distinction. Method: To this end, we present DenseSPH-YOLOv5, a real-time DL-based high-performance damage detection model where DenseNet blocks have been integrated with the backbone to improve in preserving and reusing critical feature information. Additionally, convolutional block attention modules (CBAM) have been implemented to improve attention performance mechanisms for strong and discriminating deep spatial feature extraction that results in superior detection under various challenging environments. Moreover, additional feature fusion layers and a Swin-Transformer Prediction Head (SPH) have been added leveraging advanced self-attention mechanism for more efficient detection of multiscale object sizes and simultaneously reducing the computational complexity. Results: Evaluating the model performance in large-scale Road Damage Dataset (RDD-2018), at a detection rate of 62.4 FPS, DenseSPH-YOLOv5 obtains a mean average precision (mAP) value of 85.25 %, F1-score of 81.18 %, and precision (P) value of 89.51 % outperforming current state-of-the-art models. Significance: The present research provides an effective and efficient damage localization model addressing the shortcoming of existing DL-based damage detection models by providing highly accurate localized bounding box prediction. Current work constitutes a step towards an accurate and robust automated damage detection system in real-time in-field applications.

연구 동기 및 목표

• challenging environments에서 도로 손상 탐지 정확도 및 위치지정 개선.
• YOLOv5에서의 의미정보 손실 보존 및 재사용을 통해 특징 정보 보존 및 재사용.
• 현장 점검에 적합한 실시간 성능 달성.
• 효율적 특징 융합 및 주의 메커니즘으로 다중 스케일 손상 위치화.

제안 방법

• DenseNet 블록을 CSPDarknet53에 부착하여 특징 맵 보존 및 특징 재사용 가능.
• CBAM을 도입하여 채널 및 공간 특징 맵을 정제해 주의력을 향상.
• 소형 객체 탐지 헤드를 추가하여 작은 손상 탐지 개선.
• CNN 헤드를 Swin Transformer 예측 헤드로 대체하여 다중 스케일 객체에 대해 자기 주의력 활용.
• 백본에 Spatial Pyramid Pooling (SPP)을 부착하여 다중 스케일 수용 영역; 다중 스케일 특징 융합을 위한 개선된 PANet 사용.
• 경계 상자 회귀를 IoU, 중첩 및 가로세로 비 항목 포함 CIoU 기반 손실로; 최종 예측에 NMS 적용.

Figure 1 : Sample images from RDD-2018 dataset ( Maeda et al., , 2018 ) : (a) to (g) correspond to each of the eight categories with the legends.

실험 결과

연구 질문

• RQ1 DenseNet으로 보강된 CSPDarknet53이 표준 YOLOv5 대비 도로 손상 데이터에서 특징 보존 및 탐지 정확도를 향상시킬 수 있는가?
• RQ2 CBAM 통합이 소음 많고 다중 객체 및 다양한 조도 조건에서 탐지 성능을 향상시키는가?
• RQ3 전용 초소형 객체 탐지 헤드와 Swin Transformer 예측 헤드를 추가하는 것이 다중 스케일 손상 위치화 및 속도에 어떤 영향을 미치는가?
• RQ4 SPP와 개선된 PANet가 8개 손상 클래스에 걸친 맥락적 특징 표현 및 위치 정확도에 어떤 영향을 미치는가?
• RQ5 실제 조건에서 RDD-2018 데이터셋에서 모델의 성능 지표(mAP, 정밀도, F1, IoU, FPS)는 어떠한가?

주요 결과

• DenseSPH-YOLOv5가 RDD-2018에서 85.25% mAP를 62.4 FPS로 달성.
• F1 점수 81.18% 및 정밀도 89.51%가 보고되어 강력한 탐지 정확도와 신뢰할 수 있는 위치지정을 시사.
• DenseNet 블록 및 CSP 개선으로 특징 보존 및 재사용이 향상되어 탐지 성능 증가.
• CBAM이 혼잡한/밀집한 장면에서 주의력을 개선하여 손상 유형 간 구분에 도움.
• Swin Transformer 예측 헤드가 다중 스케일 객체 탐지를 향상시키고 계산 비용을 줄임.
• SPP 및 개선된 PANet이 다중 스케일 특징 표현 및 위치 정확도를 더 풍부하게 함.

Figure 2 : Schematic of (a) YOLO object localization process for damage localization; (b) Schematic of CIoU offset regression for target BBs predictions.