[논문 리뷰] Pushing the Envelope of Thin Crack Detection

Xu Liang, Taro Hatsutani외 4명|arXiv (Cornell University)|2021. 01. 09.

Infrastructure Maintenance and Monitoring참고 문헌 32인용 수 4

한 줄 요약

이 논문은 인간이 갈라짐을 인지할 수 없는 저해상도 이미지에서의 균열 애너테이션(초인간 레이블)을 사용하여, 컨volutional 신경망(CNN)을 훈련시켜 콘크리트 이미지 내에서 서브픽셀 수준의 얇은 균열을 탐지하는 새로운 딥러닝 프레임워크를 제안한다. 저해상도 입력에 고해상도 레이블을 사용해 훈련시킴으로써, 인간의 인지 한계 이하의 얇은 균열도 탐지할 수 있으며, 이로 인해 1/3 입력 해상도에서도 인간 수준의 성능을 달성한다. P-풀링, 형태 사전 기반 후처리, 불확실성 모델링 등의 추가 개선 기법을 통해 얇고 산산이 찌그러진 균열의 탐지 정확도가 더욱 향상된다.

ABSTRACT

In this study, we consider the problem of detecting cracks from the image of a concrete surface for automated inspection of infrastructure, such as bridges. Its overall accuracy is determined by how accurately thin cracks with sub-pixel widths can be detected. Our interest is in making it possible to detect cracks close to the limit of thinness if it can be defined. Toward this end, we first propose a method for training a CNN to make it detect cracks more accurately than humans while training them on human-annotated labels. To achieve this seemingly impossible goal, we intentionally lower the spatial resolution of input images while maintaining that of their labels when training a CNN. This makes it possible to annotate cracks that are too thin for humans to detect, which we call super-human labels. We experimentally show that this makes it possible to detect cracks from an image of one-third the resolution of images used for annotation with about the same accuracy. We additionally propose three methods for further improving the detection accuracy of thin cracks: i) P-pooling to maintain small image structures during downsampling operations; ii) Removal of short-segment cracks in a post-processing step utilizing a prior of crack shapes learned using the VAE-GAN framework; iii) Modeling uncertainty of the prediction to better handle hard labels beyond the limit of CNNs' detection ability, which technically work as noisy labels. We experimentally examine the effectiveness of these methods.

연구 동기 및 목표

• 인간 애너테이터가 하위픽셀 너비로 인해 자주 간과하는 콘크리트 인프라 이미지 내 초박공균열 탐지의 핵심 과제를 해결한다.
• 인간 레이블 데이터를 사용할 경우 인간 애너테이터의 정확도에 제한되는 표준 CNN 훈련의 근본적 한계를 극복한다.
• 저해상도 입력 이미지에 고해상도 레이블을 사용하는 새로운 훈련 파라다임을 도입함으로써 인간의 인지 임계값 이하의 균열 탐지를 가능하게 한다.
• 구조적, 형태 기반, 불확실성 인식 후처리 기법을 통해 얇고 산산이 찌그러진 균열의 탐지 정확도를 향상시킨다.

제안 방법

• 하위픽셀 수준의 균열을 인간이 인지할 수 없도록 내림리샘플링한 이미지에 대해 고해상도 지도 레이블을 유지하면서 CNN을 훈련시켜 '초인간 레이블'을 도입함으로써, 인간 애너테이터가 인지할 수 없는 균열도 탐지할 수 있도록 한다.
• U-Net* 아키텍처에 P-풀링(p=3)을 구현하여 내림샘플링 과정에서 미세 구조를 유지함으로써 얇은 균열의 특징 추출 능력을 향상시킨다.
• VAE-GAN 프레임워크를 사용해 현실적인 균열 형태의 사전을 학습하고, 이를 후처리 단계에서 사용해 짧고 부정확한 균열 세그먼트를 제거한다.
• CNN의 탐지 한계를 초월하는 어려운 레이블을 노이즈로 간주하는 학습 가능한 손실 함수를 통해 예측 불확실성을 모델링함으로써, 모호하거나 초박공균열에 대한 일반화 능력을 향상시킨다.
• 모든 구성 요소를 파이프라인으로 조합: 초인간 레이블 훈련 → P-풀링 네트워크 → 불확실성 인식 훈련 → 최종 탐지를 위한 형태 기반 후처리

실험 결과

연구 질문

• RQ1 인간 애너테이션 레이블만 이용할 경우, CNN이 인간 애너테이터보다 더 정확하게 균열을 탐지할 수 있는가?
• RQ2 훈련 중에 입력 이미지를 내림샘플링함으로써 인간의 인지 임계값 이하의 균열 탐지가 얼마나 효과적으로 가능해지는가?
• RQ3 내림샘플링 과정에서 미세 구조적 세부 정보를 유지하는 데 있어 P-풀링의 효과는 어떠한가?
• RQ4 VAE-GAN에서 학습한 형태 사전이 후처리 단계에서 부정확한 짧은 세그먼트 균열을 효과적으로 제거할 수 있는가?
• RQ5 손실 함수 내에서 불확실성 모델링을 통해, CNN의 명시적 탐지 능력 이하의 어려운 서브픽셀 균열에 대한 탐지 성능 향상이 이루어지는가?

주요 결과

• 전고해상도 레이블을 사용하면서 ×1/3 해상도 입력에 대해 훈련시킴으로써, 테스트 시 ×1/3 해상도에서도 인간 수준의 성능에 근접한 탐지 정확도를 달성한다. ×3 내림샘플링 시 F1 스코어는 불확실성 모델링 적용 전/후로 각각 0.847/0.858을 기록한다.
• P-풀링은 모든 해상도 쌍에서 탐지 정확도 향상을 가져오며, 특히 훈련 해상도보다 높은 해상도로 테스트할 경우 가장 뚜렷한 성과를 보인다 (예: ×4 테스트 vs. ×1 훈련: P-풀링 적용 후 F1 스코어가 0.783에서 0.776로 향상).
• 형태 사전 기반 후처리로 인해 부정확한 짧은 세그먼트가 제거되며, 훈련 및 테스트 해상도가 일치할 경우 F1 스코어가 최대 0.036 향상된다 (예: ×8 훈련/테스트: F1 스코어가 0.694에서 0.720으로 상승).
• 불확실성 모델링은 저해상도 입력에서 훈련할 경우에만 성능 향상을 가져오며, 예를 들어 ×8 훈련 해상도에서 불확실성 인식 손실을 사용할 경우 F1 스코어가 0.553에서 0.572로 상승한다.
• 초인간 레이블, P-풀링, 형태 사전 필터링, 불확실성 모델링을 모두 조합한 전체 파이프라인은 ×8 테스트 해상도에서 F1 스코어 0.874를 기록하여 기준 모델(0.856) 대비 최고 성능을 달성하며 상호보완적 성과를 보인다.
• 이 방법은 인간의 인지 한계 이하의 균열 탐지가 가능하다. 예를 들어 ×8 테스트 해상도에서 인간 애너테이터가 볼 수 없는 균열도 탐지할 수 있으며, 이는 레이블 일관성과 성능 향상으로 확인된다.