[논문 리뷰] Pavement Distress Detection and Segmentation using YOLOv4 and DeepLabv3 on Pavements in the Philippines

James-Andrew Sarmiento|arXiv (Cornell University)|2021. 03. 11.

Infrastructure Maintenance and MonitoringEngineering인용 수 17

한 줄 요약

이 연구는 필리핀에서 YOLOv4를 사용한 객체 검출과 DeepLabv3를 사용한 의미적 세그멘테이션을 통한 자동화된 포장 손상 탐지 및 세그멘테이션을 위한 딥러닝 파이프라인을 제안한다. 소규모 RGB 이미지 데이터셋을 사용함에도 불구하고, DeepLabv3는 평균 IoU 0.56과 Dice 계수 0.58을 달성했으며, YOLOv4는 낮은 mAP 0.286을 기록하여 미세한 균열을 탐지하는 데 어려움을 겪고 있으며 경계 상자 기반의 확장성에도 도전을 겪고 있음을 시사한다.

ABSTRACT

Road transport infrastructure is critical for safe, fast, economical, and reliable mobility within the whole country that is conducive to a productive society. However, roads tend to deteriorate over time due to natural causes in the environment and repeated traffic loads. Pavement Distress (PD) detection is essential in monitoring the current conditions of the public roads to enable targeted rehabilitation and preventive maintenance. Nonetheless, distress detection surveys are still done via manual inspection for developing countries such as the Philippines. This study proposed the use of deep learning for two ways of recording pavement distresses from 2D RGB images - detection and segmentation. YOLOv4 is used for pavement distress detection while DeepLabv3 is employed for pavement distress segmentation on a small dataset of pavement images in the Philippines. This study aims to provide a basis to potentially spark solutions in building a cheap, scalable, and automated end-to-end solution for PD detection in the country.

연구 동기 및 목표

• 수동 조사가 비용이 많이 들고 일관성이 없어 개발도상국인 필리핀에서 자동 포장 손상 탐지의 부족을 해결한다.
• 2차원 RGB 이미지 기반 딥러닝을 활용해 저비용, 확장 가능하고 자동화된 도로 인프라 건강 모니터링 솔루션을 개발한다.
• 필리핀에서 수집한 소규모 실생활 포장 이미지 데이터셋에서 YOLOv4의 객체 검출 성능과 DeepLabv3의 의미적 세그멘테이션 성능을 평가한다.
• 자원이 제한된 환경에서 향후 종단 간 자동 포장 상태 평가 시스템을 위한 기초 프레임워크를 제공한다.

제안 방법

• 2차원 RGB 이미지에서 경계 상자 기반으로 포장 손상(예: 올리거 크랙, 탈락)의 인스턴스 수준 검출을 위해 YOLOv4를 활용한다.
• 깊이 있는 공간 풍경 풀링(ASPP)과 인코더-디코더 아키텍처를 사용한 DeepLabv3를 적용하여 손상 유형의 픽셀 수준 의미적 세그멘테이션을 수행한다.
• 모델의 성능 향상을 위해 이미지 전처리로 CLAHE를 사용하여 대trast를 향상시키고 특징의 가시성을 높인다.
• 모델을 305장의 이미지로 구성된 소규모 데이터셋에서 훈련하였으며, 다섯 가지 손상 유형(올리거 크랙, 탈락, 박스형 함몰, 스케일링, 분해)을 포함한다.
• 검출 성능 평가에는 평균 평균 정확도(mAP)를, 세그멘테이션 성능 평가에는 평균 교차율(mIoU)과 Dice 계수를 사용한다.
• 과적합을 줄이기 위해 데이터 증강과 전이 학습 기법을 활용한다.

실험 결과

연구 질문

• RQ1 필리핀의 소규모 실생활 데이터셋에서 YOLOv4는 포장 손상의 신뢰할 수 있는 객체 검출을 달성할 수 있는가?
• RQ2 제한된 훈련 데이터를 바탕으로 DeepLabv3는 겹치는 균열이나 스케일링과 같은 복잡한 포장 결함을 정확하게 의미적 세그멘테이션할 수 있는가?
• RQ3 CLAHE와 같은 전처리 기법은 딥러닝 모델의 포장 손상 탐지 및 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ4 이러한 맥락에서 YOLOv4와 DeepLabv3의 주요 실패 유형은 무엇인가?
• RQ5 소규모, 저비용 딥러닝 파이프라인은 개발도상국에서 확장 가능한 자동 포장 상태 모니터링의 기초로 어느 정도 활용될 수 있는가?

주요 결과

• DeepLabv3는 DPWH 데이터셋에서 평균 교차율(mIoU) 0.56과 Dice 계수 0.58를 기록하여 제한된 훈련 데이터에도 불구하고 중간에서 양호한 의미적 세그멘테이션 성능을 보였다.
• YOLOv4는 전처리된 이미지에서 mAP 0.286, 원본 이미지에서 mAP 0.272를 기록하여 특히 미세하거나 복잡한 손상에 대해 낮은 검출 성능을 보였다.
• 모델들은 클래스 혼동 문제를 겪었으며, 탈락을 박스형 함몰로 잘못 분류하거나 그 반대로 잘못 분류하는 경우가 있었는데, 이는 무늬의 유사성과 CLAHE로 인해 증폭된 특징 민감도 때문일 수 있다.
• DeepLabv3는 특히 무늬가 뚜렷하거나 불균일한 영역에서 정상 포장 표면까지 스케일링으로 잘못 세그멘테이션하여 높은 거짓 양성률을 보였다.
• YOLOv4는 경계 상자 기반 검출의 한계로 인해 작은 또는 얇은 균열과 스케일링 결함을 놓치는 경우가 많아 높은 거짓 음성률을 보였다. 이는 비정규적, 기하학적으로 길쭉하거나 분할된 손상 유형에 대해 어려움을 겪고 있음을 시사한다.
• 낮은 지표 점수에도 불구하고, 두 모델 모두 올리거 크랙과 탈락과 같은 주요 손상 유형을 탐지하는 데 가능성을 보였으며, 더 큰, 더 균일한 데이터셋을 활용할 경우 성능 향상이 가능할 것으로 기대된다.