[논문 리뷰] Automatic Pavement Crack Detection Based on Structured Prediction with the Convolutional Neural Network

Zhun Fan, Yuming Wu외 2명|arXiv (Cornell University)|2018. 02. 01.

Infrastructure Maintenance and Monitoring참고 문헌 22인용 수 227

한 줄 요약

CNN 기반의 구조화 예측 방법이 픽셀 단위로 포장 균열을 탐지하고 불균형 데이터를 다루며, CFD와 AigleRN 데이터셋에서 여러 베이스라인을 능가하고 교차 데이터베이스 일반화가 탐구되었습니다.

ABSTRACT

Automated pavement crack detection is a challenging task that has been researched for decades due to the complicated pavement conditions in real world. In this paper, a supervised method based on deep learning is proposed, which has the capability of dealing with different pavement conditions. Specifically, a convolutional neural network (CNN) is used to learn the structure of the cracks from raw images, without any preprocessing. Small patches are extracted from crack images as inputs to generate a large training database, a CNN is trained and crack detection is modeled as a multi-label classification problem. Typically, crack pixels are much fewer than non-crack pixels. To deal with the problem with severely imbalanced data, a strategy with modifying the ratio of positive to negative samples is proposed. The method is tested on two public databases and compared with five existing methods. Experimental results show that it outperforms the other methods.

연구 동기 및 목표

• 다양한 포장 상태에 걸쳐 자동화되고 견고한 균열 탐지를 촉진합니다.
• 전처리 없이 원시 이미지로부터 직접 균열 구조를 학습합니다.
• 이미지 패치당 다중 레이블 구조화 예측 문제로 균열 탐지를 모델링합니다.
• 정밀도를 해치지 않으면서 심한 클래스 불균형 문제를 해결하여 균열 픽셀 재현율을 향상시킵니다.

제안 방법

• 각 픽셀을 중심으로 한 패치(27x27)를 CNN 입력으로 사용하여 5x5 중앙 구조(s=5)를 예측합니다.
• 시그모이드 활성화 및 크로스 엔트로피 손실을 사용한 다중 레이블 출력 모델링, 정규화를 위한 L2 정규화와 드롭아웃을 추가합니다.
• 3-채널(CFD) 및 1-채널(AigleRN) 입력에 대해 별도의 CNN을 학습시키고, 패치 샘플링 및 평균-분산 정규화를 통한 데이터 확대를 적용합니다.
• 학습 중 양성/음성 샘플 비율을 조정합니다(일반적으로 1:3), 심한 클래스 불균형을 완화합니다.
• 겹치는 예측을 합산하고 정규화하여 픽셀당 출력을 이미지 전역 확률 맵으로 집계합니다.

실험 결과

연구 질문

• RQ1 CNN을 이용한 구조화 예측이 균열 탐지를 위한 픽셀 단위 CNN 분류기보다 성능을 더 잘 낼 수 있을까요?
• RQ2 출력 구조 크기(s)가 탐지 성능에 어떤 영향을 미치나요?
• RQ3 학습 데이터의 불균형이 균열 탐지에 어떤 영향을 미치며, 비율 조정이 결과를 어떻게 개선할 수 있나요?
• RQ4 학습된 모델이 서로 다른 포장 데이터셋에서 일반화되나요(교차 데이터베이스 평가)?

주요 결과

방법	Pr	Re	F1
Canny	0.4377	0.7307	0.4570
Local thresholding	0.7727	0.8274	0.7418
CrackForest	0.7466	0.9514	0.8318
The proposed method	0.9119	0.9481	0.9244
Canny (AigleRN)	0.1989	0.6753	0.2881
Local thresholding (AigleRN)	0.5329	0.9345	0.6670
FFA	0.7688	0.6812	0.6817
MPS	0.8263	0.8410	0.8195
The proposed method (AigleRN)	0.9178	0.8812	0.8954

• 제안된 구조화 예측을 갖춘 CNN은 CFD에서 Canny, 로컬 임계값 설정, CrackForest보다 더 높은 F1을 달성합니다(F1=0.9244).
• CFD에서 이 방법은 Pr=0.9119, Re=0.9481을 달성합니다.
• AigleRN에서 Pr=0.9178, Re=0.8812, F1=0.8954를 달성하여 Canny, 로컬 임계값 설정, FFA, MPS를 능가합니다.
• 구조화 예측(s=5)은 노이즈에 대한 강인성과 일관된 균열 맵 생성을 위해 픽셀 수준 분류(s=1)보다 우수합니다.
• 학습 중 양성-음성 샘플링 비율(R, CFD의 경우 2~5, AigleRN의 경우 2–3)을 조정하면 정밀도와 재현율 간의 F1 균형이 향상됩니다.
• 교차 데이터베이스 테스트는 트레이드오프를 보여줍니다: AigleRN에서 학습된 모델은 더 얇은 균열을 높은 정밀도로 생성하고 재현율이 낮은 반면, CFD에서 학습된 모델은 더 두꺼운 균열을 재현율이 높게 생성합니다; 하이브리드 학습은 일반화를 개선합니다.