[논문 리뷰] Transfer Learning-based Road Damage Detection for Multiple Countries

Deeksha Arya, Hiroya Maeda외 5명|arXiv (Cornell University)|2020. 08. 30.

Infrastructure Maintenance and Monitoring참고 문헌 35인용 수 68

한 줄 요약

본 논문은 일본 스마트폰 기반 도로 손상 탐지 모델의 인도와 체코에서의 활용 가능성을 평가하고, 대규모 이질적 다국가 데이터셋을 구축하며, 혼합국가 데이터를 학습한 일반화된 전이 학습 모델을 제안하여 도로 손상을 탐지하고 분류한다.

ABSTRACT

Many municipalities and road authorities seek to implement automated evaluation of road damage. However, they often lack technology, know-how, and funds to afford state-of-the-art equipment for data collection and analysis of road damages. Although some countries, like Japan, have developed less expensive and readily available Smartphone-based methods for automatic road condition monitoring, other countries still struggle to find efficient solutions. This work makes the following contributions in this context. Firstly, it assesses the usability of the Japanese model for other countries. Secondly, it proposes a large-scale heterogeneous road damage dataset comprising 26620 images collected from multiple countries using smartphones. Thirdly, we propose generalized models capable of detecting and classifying road damages in more than one country. Lastly, we provide recommendations for readers, local agencies, and municipalities of other countries when one other country publishes its data and model for automatic road damage detection and classification. Our dataset is available at (https://github.com/sekilab/RoadDamageDetector/).

연구 동기 및 목표

• 일본 도로 손상 탐지 모델을 다른 국가에서의 활용 가능성 평가.
• 스마트폰을 활용하여 다국가의 대규모 이질적 데이터셋을 구축.
• 국가 간 도로 손상을 탐지·분류할 수 있는 일반화 모델 개발.
• 국가 간 데이터/모델 도입 시 기관에 대한 실용적 권고 제공.

제안 방법

• 일본, 인도, 체코(일부 슬로바키아)를 대상으로 스마트폰 기반 도로 손상 데이터셋을 수집하고 주석을 달다.
• 교차국 적용 가능성을 보장하기 위해 네 가지 손상 범주(D00, D10, D20, D40)를 정의하다.
• 이미지 주석에 labelImg를 사용하고 TensorFlow Object Detection API용 TFRecord 형식으로 변환하다.
• MobileNet SSD에서 전이 학습을 사용하여 30개의 학습/테스트 시나리오로 16개의 심층 신경망 모델을 학습하다.
• 손상 범주별 IoU=0.5에서 정밀도, 재현율, F1-스코어로 모델을 평가하다.

실험 결과

연구 질문

• RQ1 일본 데이터를 사용해 학습된 일본 RDD 모델이 인도와 체코에서 도로 손상을 효과적으로 탐지할 수 있는가?
• RQ2 여러 나라의 데이터를 혼합하여 학습시키는 것이 교차국 탐지 성능을 향상시키는가?
• RQ3 하나 이상의 국가에서의 학습 데이터 크기(2k–18k 이미지)가 모델 정확도에 어떻게 영향을 미치는가?
• RQ4 국가 간 데이터/모델 재사용을 고려하는 국가에 대한 실용적 권고는 무엇인가?

주요 결과

• 일본 데이터로 학습된 모델이 인도 및 체코의 테스트 데이터에서 성능이 낮아, 적응 없이 교차국 전이의 한계를 시사한다.
• 일본+인도 데이터를 혼합해 학습시킨 모델은 일본에서 성능을 향상시키나, 클래스 불균형으로 인해 충분히 대표되지 않은 범주(D10 등)에 주의가 필요하다.
• 다중 출처 학습(인도+일본, 또는 인도+일본+체코)은 대체로 대부분의 손상 범주에서 교차국 탐지를 향상시키지만 범주와 대상국에 따라 이득이 다르다.
• 대상국이 일본일 때, 인도+일본 데이터로 학습된 모델이 일본 전용 학습보다 여러 범주(D00, D20, D40)에서 더 높은 F1-스코어를 내는 경향이 있다.
• 대상국이 인도일 때, 혼합 데이터로 개선되나 카테고리 불균형(D10 등)이 성능을 저하시킬 수 있으며 인도 데이터가 더 많은 이미지를 추가한다.