[논문 리뷰] Crowdsensing-based Road Damage Detection Challenge (CRDDC-2022)

Deeksha Arya, Hiroya Maeda외 5명|arXiv (Cornell University)|2022. 11. 21.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 캐나다, 일본, 체코, 노르웨이, 미국, 중국 6개국에서 모금된 이미지를 사용해 도로 손상 탐지 모델의 성능을 평가한 글로벌 데이터 경쟁인 Crowdsensing 기반 도로 손상 탐지 챌린지(CRDDC-2022)를 제시한다. 최고 성능을 낸 솔루션은 YOLO와 Faster R-CNN 모델의 앙상블을 활용하여 모든 국가의 통합 테스트 세트에서 F1 스코어 76%를 기록했으며, 다양한 실제 환경 데이터를 기반으로 한 도로 손상 탐지에서 뛰어난 다국적 일반화 능력을 입증했다.

ABSTRACT

This paper summarizes the Crowdsensing-based Road Damage Detection Challenge (CRDDC), a Big Data Cup organized as a part of the IEEE International Conference on Big Data'2022. The Big Data Cup challenges involve a released dataset and a well-defined problem with clear evaluation metrics. The challenges run on a data competition platform that maintains a real-time online evaluation system for the participants. In the presented case, the data constitute 47,420 road images collected from India, Japan, the Czech Republic, Norway, the United States, and China to propose methods for automatically detecting road damages in these countries. More than 60 teams from 19 countries registered for this competition. The submitted solutions were evaluated using five leaderboards based on performance for unseen test images from the aforementioned six countries. This paper encapsulates the top 11 solutions proposed by these teams. The best-performing model utilizes ensemble learning based on YOLO and Faster-RCNN series models to yield an F1 score of 76% for test data combined from all 6 countries. The paper concludes with a comparison of current and past challenges and provides direction for the future.

연구 동기 및 목표

• 다양한 지리적, 인프라 및 촬영 조건에서 작동할 수 있는 강건하고 일반화 능력이 뛰어난 도로 손상 탐지 시스템 개발.
• 종래의 도로 손상 유형 4종(장축 균열, 횡축 균열, 올거래트 균열, 함몰) 탐지에 대해 앙상블 심층 학습 모델의 효과성 평가.
• 모델 참여를 위해 캐나다 기반 데이터 기여를 통해 정제된 데이터셋을 넘어서 다양한 국가에서의 실제 환경 변동성을 반영한 데이터 확보.
• 실제 이미지에서의 객체 검출을 활용해 다국적 도로 상태 평가를 위한 표준화된 벤치마크 구축.
• 현재 챌린지의 한계를 규명하고 향후 버전을 위한 개선 사항 제안(계산 자원 지원 및 평가 지표 확장 등)

제안 방법

• 1단계에서는 참가자가 자체 데이터셋을 제안하고 기여할 수 있었으며, 공정성과 일관성을 확보하기 위해 3단계에서는 제공된 학습 데이터만 사용됨.
• 실시간 온라인 평가 시스템을 사용하여 6개국 각각의 랭킹보드와 모든 국가를 통합한 하나의 랭킹보드를 운영함.
• 최고의 모델들은 YOLO 시리즈와 Faster R-CNN 시리즈 아키텍처를 조합한 앙상블 학습을 활용했으며, ResNet-101 및 VGG-16와 같은 ImageNet 사전 훈련된 백본을 사용함.
• 모델 일반화 능력을 향상시키기 위해 3단계에서 데이터 증강 및 전처리를 허용했지만, 1단계 이후에는 새로운 데이터나 레이블 추가 금지.
• 평가 기준은 평균 정밀도(mAP)와 F1 스코어이며, 인도, 일본, 체코, 노르웨이, 미국, 중국에서의 미리보지 않은 테스트 이미지에서 성능 측정.
• 스마트폰, 드론, 오토바이, 광각 카메라 등을 통해 수집된 총 47,420장의 도로 이미지가 레이블링된 데이터셋으로, 해상도, 조명, 손상 외관 등 실제 환경의 다양성을 반영함.

Figure 1 : Distribution of images across different countries in RDD2022

실험 결과

연구 질문

• RQ1 심층 학습 모델은 도로 손상 탐지에서 다양한 지리적 및 인프라 조건에서 얼마나 잘 일반화되는가?
• RQ2 YOLO와 Faster R-CNN 아키텍처를 조합한 앙상블 학습이 도로 손상 탐지에서 다국적 성능에 어떤 영향을 미치는가?
• RQ3 여러 국가에서 기여한 캐나다 기반 데이터 포함 여부가 단일 국가 데이터셋 대비 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 현재 챌린지의 주요 한계점은 계산 자원 요구, 시간 할당, 평가 지표 측면에서 무엇인가?
• RQ5 향후 챌린지에서 계산 자원이 제한된 참가자를 더 잘 지원하고 더 넓은 참가 참여를 가능하게 하기 위해선 어떤 조치가 필요한가?

주요 결과

• 최고 성능 모델은 모든 6개국의 통합 테스트 세트에서 F1 스코어 76%를 기록하여 뛰어난 다국적 일반화 능력을 입증함.
• 최고 솔루션은 ImageNet 사전 훈련된 ResNet-101 및 VGG-16 백본을 사용한 YOLOv5와 Faster R-CNN 모델의 앙상블을 활용하여 단일 아키텍처 모델을 초월함.
• 19개국에서 60支 이상의 팀이 참가하여 다국적 도로 손상 탐지 분야에 대한 강력한 국제적 관심을 보임.
• RDD2022 데이터셋의 고해상도 이미지로 인해 계산 요구량이 증가하여 GPU 자원이 제한된 사용자들의 참가에 제약 발생.
• 참가자들은 실험 시간을 연장해 줄 것을 요청하여 향후 챌린지에서 더 긴 경쟁 기간이 필요함을 시사함.
• 향후 채널은 심각도 분석, 픽셀 수준의 세그멘테이션, 실시간 배포 지원을 위한 추론 속도 및 모델 크기 등 추가 평가 지표를 고려해야 함.

Figure 2 : Distribution of different damage type instances in training data released for CRDDC’2022