[논문 리뷰] Road Damage Detection Using Deep Neural Networks with Images Captured Through a Smartphone

Hiroya Maeda, Yoshihide Sekimoto외 3명|arXiv (Cornell University)|2018. 01. 29.

Infrastructure Maintenance and Monitoring참고 문헌 26인용 수 248

한 줄 요약

저자들은 스마트폰으로 촬영한 대규모 도로 손상 데이터셋을 만들고, 여덟 가지 손상 유형을 분류하기 위해 SSD 기반 탐지기를 학습시키며, 공개 데이터셋과 코드로 실시간 스마트폰 추론을 보인다.

ABSTRACT

Research on damage detection of road surfaces using image processing techniques has been actively conducted, achieving considerably high detection accuracies. Many studies only focus on the detection of the presence or absence of damage. However, in a real-world scenario, when the road managers from a governing body need to repair such damage, they need to clearly understand the type of damage in order to take effective action. In addition, in many of these previous studies, the researchers acquire their own data using different methods. Hence, there is no uniform road damage dataset available openly, leading to the absence of a benchmark for road damage detection. This study makes three contributions to address these issues. First, to the best of our knowledge, for the first time, a large-scale road damage dataset is prepared. This dataset is composed of 9,053 road damage images captured with a smartphone installed on a car, with 15,435 instances of road surface damage included in these road images. In order to generate this dataset, we cooperated with 7 municipalities in Japan and acquired road images for more than 40 hours. These images were captured in a wide variety of weather and illuminance conditions. In each image, we annotated the bounding box representing the location and type of damage. Next, we used a state-of-the-art object detection method using convolutional neural networks to train the damage detection model with our dataset, and compared the accuracy and runtime speed on both, using a GPU server and a smartphone. Finally, we demonstrate that the type of damage can be classified into eight types with high accuracy by applying the proposed object detection method. The road damage dataset, our experimental results, and the developed smartphone application used in this study are publicly available (https://github.com/sekilab/RoadDamageDetector/).

연구 동기 및 목표

• 실용적인 도로 손상 평가를 촉진하기 위해 조치 가능한 유지보수를 위한 유형별 손상 분류를 요구합니다.
• 다양한 조건에서 자동차에 설치된 스마트폰으로 촬영된 도로 손상 이미지의 일관되고 공개적으로 이용 가능한 데이터셋을 생성합니다.
• 도로 손상 탐지 및 분류 작업에서 최신 심층 객체 탐지기들을 평가합니다.
• 손상 유형을 엔드투엔드 심층 학습을 통해 모바일 친화적인 플랫폼에서 높은 정확도로 식별할 수 있음을 입증합니다.

제안 방법

• 스마트폰으로 차량에 부착하여 촬영한 도로 손상 이미지 9,053장(손상 인스턴스 15,435개)의 대규모 데이터셋을 개발합니다.
• 데이터셋에서 SSD 기반 객체 탐지기(SSD Inception V2 및 SSD MobileNet)를 학습하고 평가합니다.
• 입력 해상도 600x600을 사용하고 SSD 입력으로 300x300으로 조정하며 학습률 스케줄을 적용합니다(Inception V2: 0.002, 매 10k 반복마다 0.95로 감소; MobileNet: 0.003, 매 10k 반복마다 0.95로 감소).
• IOU 임계값 0.5로 성능을 평가하고 클래스별 재현율, 정밀도 및 정확도를 보고합니다.
• GPU 기반 추론과 스마트폰 기반 추론의 속도를 분석합니다( MobileNet이 더 빠르고 스마트폰은 약 1500 ms 소요).
• 공개적으로 이용 가능한 학습된 모델, 코드, 그리고 실시간 탐지를 위한 스마트폰 앱을 제공합니다.

실험 결과

연구 질문

• RQ1 스마트폰으로 촬영된 이미지에서 엔드투엔드 심층 학습 객체 탐지기가 여덟 가지 도로 손상 유형을 정확하게 분류할 수 있는가?
• RQ2 크고 공개적으로 이용 가능한 스마트폰 기반 도로 손상 데이터셋이 벤치마크에 대해 실현 가능하고 유용한가?
• RQ3 이 데이터셋에서 SSD 기반 탐지기의 탐지 성능(재현율/정밀도)과 추론 속도는 무엇이며, 디바이스 내 스마트폰 추론도 포함되는가?

주요 결과

• 9,053장의 주석이 달린 도로 손상 이미지와 15,435개의 손상 인스턴스로 구성된 데이터셋이 생성되어 공개되었습니다.
• SSD MobileNet은 클래스 간 성능에서 SSD Inception V2보다 우수했고, 디바이스 내 추론 능력이 크게 향상되었습니다.
• 가장 높은 성능 구성이 일부 손상 유형에서 재현율 및 정밀도가 75%를 넘었습니다.
• 스마트폰 기반 탐지는 이미지당 약 1.5초 소요로 작동할 수 있어 이동 중인 차량에서의 실시간 도로 측정이 가능합니다.
• 스마트폰에서의 추론은 탐지된 클래스에 대해 서버 기반의 정확도와 일치하여 실제 현장 배치가 가능하도록 합니다.