[논문 리뷰] Road Damages Detection and Classification with YOLOv7

Vung Pham, Van-Du Nguyen외 1명|arXiv (Cornell University)|2022. 10. 31.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 YOLOv7에 좌표 주의 메커니즘과 레이블 스무딩을 적용하여 도로 손상 탐지 및 분류하는 효율적인 시스템을 제안한다. 이는 구글 스트리트 뷰에서 수집한 도로 이미지로 훈련되었으며, 미국 테스트 데이터에서 F1 스코어 81.7%를 기록하여 CRDDC2022 경연 대회에서 3위를 차지하여 자동화된 인프라 모니터링에 있어 높은 정확도와 확장성을 입증하였다.

ABSTRACT

Maintaining the roadway infrastructure is one of the essential factors in enabling a safe, economic, and sustainable transportation system. Manual roadway damage data collection is laborious and unsafe for humans to perform. This area is poised to benefit from the rapid advance and diffusion of artificial intelligence technologies. Specifically, deep learning advancements enable the detection of road damages automatically from the collected road images. This work proposes to collect and label road damage data using Google Street View and use YOLOv7 (You Only Look Once version 7) together with coordinate attention and related accuracy fine-tuning techniques such as label smoothing and ensemble method to train deep learning models for automatic road damage detection and classification. The proposed approaches are applied to the Crowdsensing-based Road Damage Detection Challenge (CRDDC2022), IEEE BigData 2022. The results show that the data collection from Google Street View is efficient, and the proposed deep learning approach results in F1 scores of 81.7% on the road damage data collected from the United States using Google Street View and 74.1% on all test images of this dataset.

연구 동기 및 목표

• 구글 스트리트 뷰를 활용하여 글로벌 커버리지와 빈도 높은 업데이트를 확보하는 체계적인 파이프라인을 통해 도로 손상 데이터 수집 및 레이블링을 위한 자동화된 파이프라인을 개발한다.
• 최신 기술인 YOLOv7에 주의 메커니즘과 하이퍼파라미터 튜닝을 적용하여 도로 손상 분류의 객체 탐지 정확도를 향상시킨다.
• 실세계 성능 평가를 위해 제안된 모델을 CRDDC2022 벤치마크 데이터셋에 적용하고 평가한다.
• 데이터 증강, 레이블 스무딩, 앙상블 학습 기법을 통해 탐지 정확도를 향상시켜 견고성을 강화한다.
• 향후 자동화된 도로 상태 모니터링 연구를 지원하기 위해 공개된 데이터셋과 모델 코드를 기여한다.

제안 방법

• 글로벌 커버리지와 빈도 높은 업데이트를 확보하기 위해 체계적인 데이터 수집 파이프라인을 활용해 구글 스트리트 뷰에서 도로 이미지를 수집하였다.
• 실시간 추론에 적합한 속도와 정확도를 확보하기 위해 기본 객체 탐지 모델로 YOLOv7를 적용하였다.
• 공간적 특징 표현을 향상시키고 국소화 정밀도를 향상시키기 위해 좌표 주의 모듈을 통합하였다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 레이블 스무딩 및 데이터 증강 기법을 활용하였다.
• 예측 신뢰도와 F1 스코어를 향상시키기 위해 다수의 YOLOv7 모델을 조합하는 앙상블 학습 기법을 사용하였다.
• 검증 세트에서 mAP@0.5를 기반으로 하이퍼파라미터를 미세 조정하고, 최종 모델은 테스트 세트에서 F1 스코어로 평가하였다.

실험 결과

연구 질문

• RQ1 구글 스트리트 뷰는 대규모이고 다양한 도로 손상 이미지를 수집하고 레이블링하기 위해 효과적으로 활용될 수 있는가?
• RQ2 YOLOv7에 좌표 주의 메커니즘을 통합할 경우 도로 손상 분류의 탐지 정확도는 어떻게 향상되는가?
• RQ3 레이블 스무딩 및 앙상블 기법은 도로 손상 탐지에서 YOLOv7의 견고성과 F1 스코어에 어느 정도 기여하는가?
• RQ4 다양한 도로 손상 유형과 이미지 품질을 가진 다양한 지리적 지역에서 제안된 모델은 어떻게 성능을 발휘하는가?
• RQ5 제안된 접근 방식은 실세계 벤치마크인 CRDDC2022에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 구글 스트리트 뷰를 활용한 데이터 수집 방법은 효율적이고 확장 가능했으며, 다양한 글로벌 지역에서 최신 도로 이미지를 대량 확보할 수 있었다.
• 좌표 주의 메커니즘을 통합한 YOLOv7 모델은 미국 테스트 세트에서 F1 스코어 81.7%를 기록하여 종단 간 및 일반적인 손상 유형에 대해 뛰어난 성능을 보였다.
• 전체 데이터셋에서의 테스트 F1 스코어는 74.1%였으며, CRDDC2022 경연에서 51개 팀 중 3위를 기록하였다.
• 미국과 일본 테스트 세트에서 가장 높은 성능가 관측되었으며, 이는 사용 가능한 훈련 이미지의 가용성과 더 명확한 손상 유형의 존재와 관련이 있었다.
• 레이블 스무딩 및 앙상블 기법의 적용은 특히 인도나 노르웨이와 같은 저자원 지역에서 일반화 성능과 견고성을 향상시키는 데 기여하였다.
• 계산 자원 제약에도 불구하고, 표준 YOLOv7 설정만으로도 높은 정확도를 달성할 수 있음을 입증하였으며, YOLOv7-X나 YOLOv7-E6와 같은 고성능 변종을 사용할 경우 더 큰 성능 향상이 가능할 것으로 기대된다.