[논문 리뷰] Pavementscapes: a large-scale hierarchical image dataset for asphalt pavement damage segmentation

Tong Zheng, Tao Ma외 2명|arXiv (Cornell University)|2022. 07. 24.

Infrastructure Maintenance and Monitoring인용 수 5

한 줄 요약

이 논문은 4,000장의 고해상도(1024×2048) 아스팔트 포장 이미지와 8,680개의 손상 인스턴스를 포함하는 대규모 계층적 데이터셋인 Pavementscapes를 소개한다. 이 데이터셋은 6개의 손상 유형에 대해 이미지, 블록, 픽셀 수준에서 레이블링되어 있으며, 최신 딥러닝 모델을 평가한 결과 주목적 기반 네트워크가 컨volutional 네트워크를 능가함을 확인하였다. 또한 소손상 분할, 클래스 불균형, 모델 과신뢰도 등의 주요 과제를 규명하였으며, 향후 포장 손상 분할 연구를 위한 기준선과 해결책을 제시한다.

ABSTRACT

Pavement damage segmentation has benefited enormously from deep learning. % and large-scale datasets. However, few current public datasets limit the potential exploration of deep learning in the application of pavement damage segmentation. To address this problem, this study has proposed Pavementscapes, a large-scale dataset to develop and evaluate methods for pavement damage segmentation. Pavementscapes is comprised of 4,000 images with a resolution of $1024 imes 2048$, which have been recorded in the real-world pavement inspection projects with 15 different pavements. A total of 8,680 damage instances are manually labeled with six damage classes at the pixel level. The statistical study gives a thorough investigation and analysis of the proposed dataset. The numeral experiments propose the top-performing deep neural networks capable of segmenting pavement damages, which provides the baselines of the open challenge for pavement inspection. The experiment results also indicate the existing problems for damage segmentation using deep learning, and this study provides potential solutions.

연구 동기 및 목표

• 딥러닝 연구에서 아스팔트 포장 손상 분할을 위한 대규모 공개 데이터셋의 부족을 해결하기 위해.
• 다중 수준 레이블링(이미지, 블록, 픽셀)과 다양한 시점(비상징적 시점 포함)을 포함한 종합적이고 실제 세계 기반의 데이터셋을 개발하기 위해.
• 제안된 데이터셋을 기반으로 최신 딥 네트워크의 포장 손상 분할 성능 기준선을 수립하기 위해.
• 소손상 탐지, 클래스 불균형, 모델 과신뢰도와 같은 딥러닝에서 지속적인 과제를 규명하기 위해.
• 향후 모델 개발을 위한 실질적 해결책, 예를 들어 주목적 메커니즘, 형태기반 손실 함수, 불확실성 인식 네트워크를 제공하기 위해.

제안 방법

• 데이터셋은 중국의 15개 이상의 다양한 포장 유형에서 실세계 포장 점검 프로젝트로부터 수집되었으며, 실제 적용 가능성과 다양성을 확보하였다.
• 각 이미지는 세 수준에서 레이블링되었으며, 이미지 수준(손상 유형 존재 여부), 블록 수준(바운딩 박스), 픽셀 수준(6개의 손상 유형에 대한 세분화 마스크)이다.
• 비상징적 시점(예: 부분적으로 가림, 혼잡한 배경 등)이 포함되어 있어 실제 점검의 복잡성을 반영하고 모델의 강건성을 향상시켰다.
• 최신 딥러닝 모델, 특히 컨volutional 신경망(CNNs)과 주목적 기반 아키텍처를 데이터셋에 대해 학습 및 평가하였다.
• 클래스 불균형 문제를 완화하기 위해 딱딱한 손실 함수(Dice loss, Focal loss)와 같은 고급 손실 함수를 평가하였다.
• Dempster-Shafer 이론 기반 불확실성 인식 네트워크를 탐색하여 예측에서의 모델 과신뢰도를 완화하였다.

실험 결과

연구 질문

• RQ1 대규모 실세계 데이터셋에서 주목적 기반 딥 네트워크의 성능이 전통적인 CNN에 비해 아스팔트 포장 손상 분할에서 어떻게 비교되는가?
• RQ2 클래스 불균형과 소손상 인스턴스가 포장 손상 분할에서 딥러닝 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ3 형태기반 손실 함수인 Dice loss와 Focal loss는 Pavementscapes와 같은 불균형 데이터셋에서 분할 성능 향상에 효과적으로 기여하는가?
• RQ4 비상징적 시점(예: 부분적 가림, 혼잡한 배경)은 딥러닝 모델의 성능에 어떤 영향을 미치며, 이러한 변형에 강건한 모델을 만들 수 있는가?
• RQ5 불확실성 인식 네트워크는 모델 과신뢰도를 줄이고 포장 손상 분할 작업의 신뢰성을 향상시킬 수 있는가?

주요 결과

• Pavementscapes 데이터셋은 4,000장의 고해상도(1024×2048) 포장 이미지와 8,680개의 손상 인스턴스를 포함하며, 6개의 손상 유형에 대해 세 수준의 세부 레이블링을 제공하여 현재까지 가장 크고 종합적인 공개 데이터셋이다.
• 주목적 기반 딥 네트워크가 표준 컨volutional 네트워크를 능가하는 성능을 보였으며, 향후 포장 손상 분할 모델에 대한 유망한 새로운 방향성을 제시한다.
• 데이터셋은 실제 손상 유형 분포를 잘 반영하고 있으며, 비상징적 시점이 다수 포함되어 있어 실제 적용에 있어 대표성과 도전 과제를 높인다.
• 소손상 인스턴스는 여전히 정확하게 분할하기 어려우며, 미세한 결함의 국소화를 향상시키기 위해 개선된 주목적 메커니즘 또는 특징 엔지니어링이 필요함을 시사한다.
• 클래스 불균형—특히 배경 픽셀의 지배적 우세도와 균열 픽셀의 부족한 표현—은 모델 성능에 심각한 영향을 미치며, Dice loss 및 Focal loss와 같은 형태기반 손실 함수가 이 문제를 효과적으로 완화함을 확인하였다.
• 딥 네트워크는 특히 희귀 클래스에 대해 과신뢰도를 보이며, Dempster-Shafer 이론 기반의 증거 기반 딥 러닝과 같은 불확실성 인식 프레임워크는 이 과신뢰도를 줄이고 모델 캘리브레이션을 향상시킬 수 있다.