[논문 리뷰] FPCNet: Fast Pavement Crack Detection Network Based on Encoder-Decoder Architecture

Wenjun Liu, Yuchun Huang외 2명|arXiv (Cornell University)|2019. 07. 04.

Infrastructure Maintenance and Monitoring참고 문헌 39인용 수 45

한 줄 요약

FPCNet은 Encoder-Decoder 프레임워크 내에서 Multi-Dilation (MD) 및 SE-Upsampling (SEU) 모듈을 도입하여 멀티 컨텍스트 피처와 적응 피처 가중화를 통해 픽셀 수준의 포장 균열 탐지를 달성하고, 최첨단 정확도와 속도를 제공합니다.

ABSTRACT

Timely, accurate and automatic detection of pavement cracks is necessary for making cost-effective decisions concerning road maintenance. Conventional crack detection algorithms focus on the design of single or multiple crack features and classifiers. However, complicated topological structures, varying degrees of damage and oil stains make the design of crack features difficult. In addition, the contextual information around a crack is not investigated extensively in the design process. Accordingly, these design features have limited discriminative adaptability and cannot fuse effectively with the classifiers. To solve these problems, this paper proposes a deep learning network for pavement crack detection. Using the Encoder-Decoder structure, crack characteristics with multiple contexts are automatically learned, and end-to-end crack detection is achieved. Specifically, we first propose the Multi-Dilation (MD) module, which can synthesize the crack features of multiple context sizes via dilated convolution with multiple rates. The crack MD features obtained in this module can describe cracks of different widths and topologies. Next, we propose the SE-Upsampling (SEU) module, which uses the Squeeze-and-Excitation learning operation to optimize the MD features. Finally, the above two modules are integrated to develop the fast crack detection network, namely, FPCNet. This network continuously optimizes the MD features step-by-step to realize fast pixel-level crack detection. Experiments are conducted on challenging public CFD datasets and G45 crack datasets involving various crack types under different shooting conditions. The distinct performance and speed improvements over all the datasets demonstrate that the proposed method outperforms other state-of-the-art crack detection methods.

연구 동기 및 목표

• 다양한 균열 토폴로지와 이미징 조건에서 유지 보수 의사결정을 위한 정확하고 자동화된 포장 균열 탐지를 동기화한다.
• 다중 스케일 간 맥락 균열 정보를 활용하는 엔드 투 엔드 딥러닝 네트워크를 개발한다.
• 단일 컨텍스트 FCN의 한계를 넘어 다중 컨텍스트 특징 학습과 적응 융합을 가능하게 한다.

제안 방법

• Multi-Dilation (MD) 모듈을 도입하여 dilated convolution의 비율 {1,2,3,4}과 글로벌 풀링 경로를 사용해 서로 다른 컨텍스트 크기에서 균열 피처를 융합한다.
• SE-Upsampling (SEU) 모듈을 개발하여 업샘플링된 MD 피처를 인코더 피처와 덧셈 및 채널 단위 가중치를 통한 SE(Squeeze-and-Excitation)로 융합한다.
• MD 및 SEU 모듈을 인코더-디코더 아키텍처에 내재화하여 엔드-리드 픽셀 단위 균열 탐지를 위한 FPCNet을 형성한다.
• 1x1 컨볼루션 다음 시그모이드를 사용하여 픽셀 당 균열 확률 맵을 생성한다.
• 데이터 증강과 모멘텀을 갖춘 SGD를 이용한 이진 크로스 엔트로피와 Dice 손실을 사용하여 견고한 학습을 수행한다.

실험 결과

연구 질문

• RQ1 다중 컨텍스트 특징 표현이 다양한 균열 너비와 토폴로지에서 균열 탐지를 개선할 수 있는가?
• RQ2 SE-Learning을 통한 균열 특징의 적응 가중화가 단순한 특징 연결보다 픽셀 수준 분할을 개선하는가?
• RQ3 엔드 투 엔드 FPCNet이 공개 데이터셋 전반에 걸쳐 기존 FCN 기반 균열 탐지기보다 더 빠르고 정확한가?
• RQ4 오일 얼룩, 그림자, 낮은 대비 등 도전적인 균열 유형 및 이미지 조건에서 FPCNet은 최신 방법과 비교해 어떻게 성능을 보이는가?

주요 결과

Method	Tolerance Margin	Precision	Recall	F1 score
CrackForest [28]	5	82.28%	89.44%	85.71%
MFCD [36]	5	89.90%	89.47%	88.04%
Method [37]	2	90.70%	84.60%	87.00%
Method [18]	2	91.19%	94.81%	92.44%
FCN [21]	2	97.29%	94.56%	95.90%
FPCNet	2	97.48%	96.39%	96.93%

• CFD 데이터셋에서 FPCNet은 F1 점수 96.93%를 달성하며 이전 최고를 4.49% 포인트 상회한다.
• CFD에서 FPCNet은 FCN 및 다수의 최신 방법에 비해 더 높은 정밀도와 재현율을 달성한다(정밀도 97.48%, 재현율 96.39%).
• FPCNet은 14.7 FPS(이미지당 67.9 ms)로 실행되며 유사한 하드웨어 하에서 비교 방법 [18]보다 약 5.7배 빠르다.
• SEU 융합은 채널 단위 가중치를 통해 불필요한 피처 사용을 줄이고 균열 관련 신호를 강조하여 노이즈 및 다양한 균열 너비에 대한 강건성을 향상시킨다.
• G45 데이터셋에서 FPCNet은 유형별로 강력한 성능을 보인다: Transverse 97.51% F1, Longitudinal 95.76% F1, Block 90.71% F1, Alligator 94.75% F1.
• MD 모듈은 추가 비용이 적고 컨텍스트를 확장하며 더 큰 필터 없이 다중 컨텍스트 학습을 가능하게 한다.