[논문 리뷰] Road Damage Detection and Classification with Detectron2 and Faster R-CNN

Vung Pham, Chau Pham외 1명|arXiv (Cornell University)|2020. 10. 28.

Infrastructure Maintenance and Monitoring참고 문헌 30인용 수 9

한 줄 요약

이 논문은 글로벌 로드 손상 탐지 챌린지 2020 데이터셋에서 도로 손상 탐지 및 분류를 위해 Detectron2와 Faster R-CNN, X101-FPN 백본을 사용하는 것을 제안한다. 테스트 세트에서 F1 스코어가 각각 51.0%와 51.4%를 기록했음에도 불구하고, 연구는 훈련 데이터에 심각한 레이블링 오류가 있음을 밝히고, 모델의 일반화 능력을 향상시키기 위해 노이즈 스터디 기법을 활용한 자기지도 학습을 통한 개선된 데이터 정제 전략을 제안한다.

ABSTRACT

The road is vital for many aspects of life, and road maintenance is crucial for human safety. One of the critical tasks to allow timely repair of road damages is to quickly and efficiently detect and classify them. This work details the strategies and experiments evaluated for these tasks. Specifically, we evaluate Detectron2's implementation of Faster R-CNN using different base models and configurations. We also experiment with these approaches using the Global Road Damage Detection Challenge 2020, A Track in the IEEE Big Data 2020 Big Data Cup Challenge dataset. The results show that the X101-FPN base model for Faster R-CNN with Detectron2's default configurations are efficient and general enough to be transferable to different countries in this challenge. This approach results in F1 scores of 51.0% and 51.4% for the test1 and test2 sets of the challenge, respectively. Though the visualizations show good prediction results, the F1 scores are low. Therefore, we also evaluate the prediction results against the existing annotations and discover some discrepancies. Thus, we also suggest strategies to improve the labeling process for this dataset.

연구 동기 및 목표

• 다양한 국가 간 도로 손상 탐지 및 분류를 위한 최신 기술 기반 객체 탐지 모델의 성능 평가.
• 특히 레이블링 일관성 문제를 포함한 글로벌 로드 손상 탐지 챌린지 2020 데이터셋의 한계 규명.
• 자기지도 학습을 활용한 인간-자동 협업 기반의 확장 가능한 데이터 레이블링 전략 제안을 통한 데이터 품질 향상.
• 다양한 지리적 지역에 적용 가능한 이식성 있고 일반적인 목적의 모델 개발.
• 데이터 품질이 모델 성능에 미치는 영향 평가 및 레이블링 파이프라인 개선 방안 제안.

제안 방법

• ResNeXt-101-FPN를 포함한 다양한 백본 아키텍처를 사용한 Detectron2의 Faster R-CNN 구현을 활용.
• 체코 공화국, 인도, 일본에서 수집된 이미지 및 바운딩 박스 레이블을 포함한 글로벌 로드 손상 탐지 챌린지 2020 데이터셋을 사용해 모델 훈련.
• 표준 평가 지표 적용: 바운딩 박스 매칭을 위한 정밀도, 재현율 및 IoU 임계값 0.5 기반의 F1 스코어.
• 모델 예측 결과의 정성적 분석을 수행하고, 실제 레이블과의 비교를 통해 레이블링 불일치 여부 확인.
• 비밀번호 학습 기반의 자기지도 학습 파이프라인 제안: 미레이블링 데이터에 대해 고신뢰도의 가짜 레이블 생성을 통한 데이터 효율성 향상.
• 개선된 인간 검증 워크플로우 제안: 더 나은 레이블 검토를 위한 이미지 밝기 및 줌 조정 기능 통합.

실험 결과

연구 질문

• RQ1 Detectron2에서 사용된 Faster R-CNN 백본 및 설정 중에서 다양한 국가 간 도로 손상 탐지에 대해 가장 강력하고 일반화 능력이 뛰어난 조합은 무엇인가?
• RQ2 훈련 세트의 레이블링 오류가 도로 손상 탐지에서 딥 러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ3 노이즈 스터디와 같은 자기지도 학습 기법을 통해 도로 손상 레이블링의 품질과 확장성은 어느 정도 향상될 수 있는가?
• RQ4 모델 예측 결과를 기반으로 기존 데이터셋의 레이블링 오류를 신뢰성 있게 식별하고 수정할 수 있는가?
• RQ5 레이블링 파이프라인에 어떤 개선 조치를 도입하면 인간의 실수를 줄이고 레이블링 효율성을 높일 수 있는가?

주요 결과

• Detectron2의 기본 설정을 사용한 X101-FPN 백본은 테스트1에서 F1 스코어 51.0%, 테스트2에서 51.4%를 기록하여 중간 수준이지만 안정적인 성능을 보였다.
• 좋은 시각적 예측에도 불구하고 낮은 F1 스코어는 훈련 세트의 실제 레이블링에 심각한 문제가 있음을 시사한다.
• 잘못된 포thole 바운딩 박스와 같은 여러 잘못 레이블링된 사례가 확인되어 레이블링 파이프라인의 오류를 드러냈다.
• 일부 레이블이 인간 검증 없이 모델에 의해 생성된 것으로 보이며, 이는 자동화된 레이블링 과정의 결함을 시사한다.
• 노이즈 스터디 자기지도 학습 접근법은 데이터 품질 향상과 모델 일반화 능력 향상에 확장 가능한 솔루션으로 제안되었다.
• 저자들은 가짜 레이블 데이터의 정확한 인간 검증을 지원하기 위해 이미지 밝기 및 줌 조정 등의 전처리 기법을 권장한다.