[논문 리뷰] CrackSeg9k: A Collection and Benchmark for Crack Segmentation Datasets and Frameworks

Shreyas Kulkarni, Shreyas Singh외 4명|arXiv (Cornell University)|2022. 08. 27.

Infrastructure Maintenance and Monitoring인용 수 8

한 줄 요약

이 논문은 다양한 표면에 걸쳐 9,000점 이상의 균열 영상과 표준화된 의미 분할 주석을 갖춘 통합 기준 데이터셋인 CrackSeg9k를 소개한다. 영상 처리와 딥러닝을 융합한 엔드 투 엔드 파이프라인을 제안하며, ResNet 및 Xception 백본을 사용한 DeepLab을 통해 최신 기술 수준(SOTA) 성능을 달성하였고, 특히 융합된 DINO 자기지도 학습 주의 특징을 통해 성능 향상을 이룩하였다.

ABSTRACT

The detection of cracks is a crucial task in monitoring structural health and ensuring structural safety. The manual process of crack detection is time-consuming and subjective to the inspectors. Several researchers have tried tackling this problem using traditional Image Processing or learning-based techniques. However, their scope of work is limited to detecting cracks on a single type of surface (walls, pavements, glass, etc.). The metrics used to evaluate these methods are also varied across the literature, making it challenging to compare techniques. This paper addresses these problems by combining previously available datasets and unifying the annotations by tackling the inherent problems within each dataset, such as noise and distortions. We also present a pipeline that combines Image Processing and Deep Learning models. Finally, we benchmark the results of proposed models on these metrics on our new dataset and compare them with state-of-the-art models in the literature.

연구 동기 및 목표

• 다양한 표면과 균열 유형에 걸쳐 표준화되고, 다양하며 고품질인 균열 분할용 데이터셋의 부족을 보완한다.
• 여러 기존 데이터셋에서 유사하지 않은 주석을 통합하고, 노이즈 제거 및 해상도와 레이블 표준화를 통해 데이터 품질을 향상시킨다.
• 조명, 해상도, 배경의 변동성을 다룰 수 있는 강력하고 일반화 가능한 균열 탐지 및 분할 파이프라인을 개발한다.
• 일致한 메트릭스를 갖춘 통합된 대규모 데이터셋을 기반으로 최신 기술 수준 모델 평가 기준을 설정한다.
• 자기지도 학습 주의 메커니즘(DINO 등)을 컨볼루션 네트워크(CNN)에 통합하여 복잡한 균열 패턴의 분할 성능 향상 여부를 탐색한다.

제안 방법

• CFD, DeepCrack, Crack500, HTR 등 여러 공개 데이터셋에서 9,000점 이상의 영상을 수집하고, 영상 처리 기법을 활용해 노이즈를 감소시키고 마스크 품질을 표준화함으로써 주석을 통합하였다.
• 이미지 해상도를 표준화하고 사전처리를 적용하여 데이터셋 간 일관성을 확보함으로써 모델 간 공정한 비교를 가능하게 하였다.
• 균열을 선형, 분지형, 네트워크형의 세 가지 공간적 유형으로 분류하여, 다양한 구조적 복잡성에서의 모델 성능 평가를 가능하게 하였다.
• 규칙 기반 영상 처리(임계치 설정, 윤곽 검출)와 딥러닝 모델(U-Net, DeepLab, VGG16)을 융합한 엔드 투 엔드 파이프라인을 설계하여 균열 국소화 및 분할을 수행하였다.
• 자기지도 학습 주의 특징(DINO)을 CNN 백본(ResNet, XceptionNet)과 융합하여 장거리 특징 학습 능력을 향상시키고 분할 정확도를 개선했다.
• 표준 메트릭스(F1 점수 및 평균 교차율(mIoU))를 사용해 모델을 평가하였으며, 주의 특징 융합 및 데이터 다양성의 영향을 평가하기 위해 분석 연구(Ablation study)를 실시하였다.

실험 결과

연구 질문

• RQ1 표준화된 주석을 갖춘 통합된 대규모 데이터셋이 다양한 표면과 균열 유형에서 재현성과 일반화 능력을 향상시키는가?
• RQ2 CNN 기반 분할 모델에 자기지도 학습 주의(DINO)를 융합할 경우, 분지형 및 네트워크형 균열과 같은 복잡한 균열 패턴에서 성능에 어떤 영향을 미치는가?
• RQ3 균열 형태(선형, 분지형, 네트워크형)와 표면 유형(석재, 세라믹, 유리, bitumen)에 따라 모델 성능 및 강건성은 얼마나 다를까?
• RQ4 다중 척도 특징 융합 및 정밀화된 진짜 마스크를 사용할 경우, 기준 모델 대비 분할 정확도 향상이 유의미하게 이루어지는가?
• RQ5 기존 SOTA 모델은 통합 기준 데이터셋에서 어떻게 성능을 내며, 얇거나 끊어진 균열을 탐지하는 데서 주요 실패 원인은 무엇인가?

주요 결과

• 제안된 DeepLab 모델은 ResNet 및 XceptionNet 백본을 사용하여 CrackSeg9k 기준에서 최고의 F1 점수(0.7238)와 mIoU(0.7712)를 기록하여 이전 모든 모델을 초월하였다.
• 이미지 수가 많은 데이터셋(Volker, DeepCrack, Crack500 등)에서 학습한 모델이 더 높은 성능를 보였으며, 이는 데이터 양이 일반화 능력에 큰 영향을 미친다는 것을 시사한다.
• 복잡하고 고도로 무늬가 있는 배경을 가진 석재 및 세라믹 표면에서 성능 저하가 발생하여 배경과 무관한 특징 학습의 과제를 드러냈다.
• 선형 균열이 가장 정확하게 분할되었고, 그 다음으로 분지형 균열이 분할 정확도가 높았으며, 네트워크형 균열은 복잡한 구조로 인해 예측 정확도가 가장 낮았다.
• CNN에 DINO 자기지도 학습 주의 특징을 융합함으로써 훈련 가능한 파rameter 수의 증가가 최소화되면서도 성능 향상이 뚜렷하게 이루어졌고, 노이즈 및 미세 구조에 대한 강건성도 향상되었다.
• 개선에도 불구하고, 투명한 배경(예: 유리)에서의 모델 성능은 여전히 어려움을 겪었으며, 이는 더 도메인 특화된 데이터가 필요함을 시사한다.