[논문 리뷰] Advances in deep learning methods for pavement surface crack detection and identification with visible light visual images

Kai-liang Lu|arXiv (Cornell University)|2020. 12. 29.

Infrastructure Maintenance and Monitoring참고 문헌 16인용 수 8

한 줄 요약

이 논문은 가시광선 영상에서의 딥러닝 기반 포장 균열 검출 방법을 종합적으로 검토하며, 임베디드 플랫폼에서 실시간으로 고정밀도 픽셀 수준의 세분화를 수행하는 데 중점을 둔다. 연구 결과 경량 모델인 MobileNet 기반 전이학습 기법을 통해 이미지당 추론 속도가 10ms 이하로 떨어지며, 간단한 샘플에서는 99.8% 이상의 정확도, 과제가 있는 경우 97.5%의 정확도(특히 SDNET2018에서 FPCNet 사용)를 달성함으로써 이식 가능하고 고성능의 균열 검출 시스템 분야에서 중대한 성과를 이룩했다.

ABSTRACT

Compared to NDT and health monitoring method for cracks in engineering structures, surface crack detection or identification based on visible light images is non-contact, with the advantages of fast speed, low cost and high precision. Firstly, typical pavement (concrete also) crack public data sets were collected, and the characteristics of sample images as well as the random variable factors, including environmental, noise and interference etc., were summarized. Subsequently, the advantages and disadvantages of three main crack identification methods (i.e., hand-crafted feature engineering, machine learning, deep learning) were compared. Finally, from the aspects of model architecture, testing performance and predicting effectiveness, the development and progress of typical deep learning models, including self-built CNN, transfer learning(TL) and encoder-decoder(ED), which can be easily deployed on embedded platform, were reviewed. The benchmark test shows that: 1) It has been able to realize real-time pixel-level crack identification on embedded platform: the entire crack detection average time cost of an image sample is less than 100ms, either using the ED method (i.e., FPCNet) or the TL method based on InceptionV3. It can be reduced to less than 10ms with TL method based on MobileNet (a lightweight backbone base network). 2) In terms of accuracy, it can reach over 99.8% on CCIC which is easily identified by human eyes. On SDNET2018, some samples of which are difficult to be identified, FPCNet can reach 97.5%, while TL method is close to 96.1%. To the best of our knowledge, this paper for the first time comprehensively summarizes the pavement crack public data sets, and the performance and effectiveness of surface crack detection and identification deep learning methods for embedded platform, are reviewed and evaluated.

연구 동기 및 목표

• 공개된 포장 균열 데이터셋과 그 특성, 환경적 요인 및 노이즈 관련 변동성을 체계적으로 요약하기 위해.
• 수작업 특징 엔지니어링, 머신러닝, 딥러닝 기법 간의 강점과 한계를 비교하기 위해.
• 자체 구축한 CNN, 전이학습(TL), 인코더-디코더(ED) 아키텍처 등 딥러닝 모델의 성능, 효율성, 이식 가능성에 대한 평가를 임베디드 플랫폼에서 수행하기 위해.
• 가시광선 영상 기반 실현 가능한 현장 조건에서 실시간으로 고정밀도 균열 검출을 위한 기준을 설정하기 위해.

제안 방법

• CCIC 및 SDNET2018를 포함한 주요 공개 포장 균열 데이터셋의 편집 및 분석을 통해 영상 변동성과 노이즈 요인을 규명하기 위해.
• 세 가지 주요 접근법(수작업 특징 엔지니어링, 기존 머신러닝, 딥러닝)의 정확도 및 복잡도 간 상호 상충 관계를 평가하기 위해.
• 세 가지 딥러닝 아키텍처(자체 구축 CNN, InceptionV3 및 MobileNet 백본을 사용한 전이학습, FPCNet과 같은 인코더-디코더 모델)의 구현 및 벤치마킹을 수행하기 위해.
• 특히 임베디드 플랫폼에 적합한 경량 네트워크 설계를 통해 추론 속도 및 정확도를 최적화하기 위해.
• 표준 메트릭을 사용한 벤치마크 데이터셋에서의 성능 평가를 통해 추론 시간과 픽셀 수준의 세분화 정확도에 중점을 두기 위해.
• 실시간 테스트를 통해 임베디드 플랫폼에서의 현장 적용 가능성 검증을 위해.

실험 결과

연구 질문

• RQ1 환경적 요인 및 노이즈 변동성을 포함한 공개된 포장 균열 영상 데이터셋의 핵심 특성과 과제는 무엇인가?
• RQ2 균열 검출에서 수작업 특징 엔지니어링, 머신러닝, 딥러닝 기법 간의 정확도 및 계산 효율성 측면에서의 비교는 어떠한가?
• RQ3 딥러닝 모델은 저전력 임베디드 플랫폼에서 실시간으로 고정밀도 균열 검출을 달성할 수 있는가?
• RQ4 CCIC 및 SDNET2018와 같은 벤치마크 데이터셋에서 최신 딥러닝 모델(특히 FPCNet 및 MobileNet 기반 전이학습)의 성능은 어떠한가?
• RQ5 임베디드 환경에서의 이식 시나리오에서 추론 속도와 검출 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• FPCNet 인코더-디코더 모델은 도전적인 SDNET2018 데이터셋에서 픽셀 수준의 균열 검출 정확도 97.5%를 달성했다.
• MobileNet 기반 전이학습 모델은 이미지당 추론 시간이 10ms 이하로 유지되어 임베디드 플랫폼에서 실시간 처리가 가능했다.
• InceptionV3 기반 전이학습 모델은 이미지당 추론 시간이 100ms 이하로 유지되어 실시간 응용에 적합했다.
• CCIC 데이터셋에서는 균열이 쉽게 식별 가능한 편이므로 최고의 모델이 99.8% 이상의 정확도를 기록했다.
• 이 연구는 임베디드 시스템에서 딥러닝 기반 포장 균열 검출에 대한 첫 번째 종합적 기준을 수립하였으며, 고정밀도와 저지연 시간을 동시에 확보했다.
• 결과적으로 경량 딥러닝 모델, 특히 MobileNet 백본을 사용한 모델들이 실제 인프라 점검 시스템에서 매우 정확하고 이식 가능한 것으로 확인되었다.