[논문 리뷰] Unsupervised crack detection on complex stone masonry surfaces

Panagiotis Agrafiotis, Anastastios Doulamis외 1명|arXiv (Cornell University)|2023. 03. 31.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 RGB 이미지 패치를 사용하여 복잡한 석조 성벽 표면에서 균열을 감지하기 위한 비지도 딥러닝 접근법을 제안한다. 균열 감지는 이상 탐지 문제로 재정의되며, 최신의 CNN 아키텍처를 '균열 있음' 또는 '균열 없음'의 이진 분류에 적응시켜 소량의 학습 데이터와 적은 에포크 수로도 높은 정확도를 달성한다. 이는 더 복잡하고 데이터를 많이 요구하는 모델들보다 뛰어난 성능을 보이며, 계산 비용도 낮게 유지한다.

ABSTRACT

Computer vision for detecting building pathologies has interested researchers for quite some time. Vision-based crack detection is a non-destructive assessment technique, which can be useful especially for Cultural Heritage (CH) where strict regulations apply and, even simple, interventions are not permitted. Recently, shallow and deep machine learning architectures applied on various types of imagery are gaining ground. In this article a crack detection methodology for stone masonry walls is presented. In the proposed approach, crack detection is approached as an unsupervised anomaly detection problem on RGB (Red Green Blue) image patches. Towards this direction, some of the most popular state of the art CNN (Convolutional Neural Network) architectures are deployed and modified to binary classify the images or image patches by predicting a specific class for the tested imagery; 'Crack' or 'No crack', and detect and localize those cracks on the RGB imagery with high accuracy. Testing of the model was performed on various test sites and random images retrieved from the internet and collected by the authors and results suggested the high performance of specific networks compared to the rest, considering also the small numbers of epochs required for training. Those results met the accuracy delivered by more complex and computationally heavy approaches, requiring a large amount of data for training. Source code is available on GitHub https://github.com/pagraf/Crack-detection while datasets are available on Zenodo https://doi.org/10.5281/zenodo.6516913 .

연구 동기 및 목표

• 대규모 레이블이 부여된 데이터셋에 의존하지 않고 문화유산 석조 성벽의 구조적 균열을 탐지하는 데 도전하는 것.
• 복잡하고 이질적인 성벽 텍스처에 특화된 강력한 비지도 이상 탐지 프레임워크를 개발하는 것.
• 비침습적 평가가 가능한 문화유산 환경에 적합한 RGB 이미지만을 사용하여 정확하고 국소화된 균열 감지를 가능하게 하는 것.
• 지도 학습 기반 접근법에 비해 더 많은 학습 데이터와 계산 자원에 의존하지 않도록 하는 것.

제안 방법

• 이 방법은 자르기 전용 RGB 이미지 패치에 대해 비지도 이상 탐지 문제로 균열 감지를 다룬다.
• 사전 훈련된 CNN 아키텍처(예: ResNet, DenseNet)를 이미지 패치에서 '균열 있음' 대 '균열 없음'의 이진 분류에 맞추기 위해 미세조정한다.
• 이상 점수는 네트워크의 내부 특징 또는 활성화 패턴에서 유도되어 균열을 나타내는 편차를 식별한다.
• 학습 중에 균열이 있는 샘플이 필요 없도록, 정상(균열 없음) 패치만을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• Grad-CAM 또는 유사한 주의 기반 방법을 적용하여 입력 이미지의 이상 영역을 강조함으로써 국소화를 달성한다.
• 일반화 능력을 확보하기 위해 다양한 실제 성벽 현장과 인터넷에서 확보한 이미지로 이 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 부여된 균열 데이터가 없이도 비지도 딥러닝이 복잡하고 이질적인 석조 성벽 표면에서 균열을 효과적으로 감지할 수 있는가?
• RQ2 균열 이상 탐지에 있어 어떤 사전 훈련된 CNN 아키텍처가 새로운 성벽 텍스처에 가장 잘 일반화되는가?
• RQ3 정확도와 데이터 효율성 측면에서 이 비지도 방법은 지도 학습 기반 접근법보다 어떻게 비교되는가?
• RQ4 이 프레임워크에서 신뢰할 수 있는 균열 감지를 달성하기 위해 필요한 최소 학습 에포크 수는 얼마인가?

주요 결과

• 제안된 비지도 방법은 대규모 레이블이 부여된 데이터셋이 필요한 더 복잡한 지도 학습 모델들과 비교해도 유사한 정확도를 달성한다.
• 특정 CNN 아키텍처, 특히 ResNet 및 DenseNet 변종이 무늬가 있는 성벽 표면에서 미세한 균열을 감지하는 데 다른 것들보다 뛰어난 성능을 보인다.
• 모델은 다양한 성벽 현장과 실제 이미지(인터넷에서 확보한 자료 포함)에 대해 잘 일반화되어 있다.
• 주의 기반 시각화 맵을 사용하여 높은 국소화 정확도를 달성하여 균열 영역을 정밀하게 식별할 수 있다.
• 이 방법은 매우 적은 수의 학습 에포크만으로도 작동하므로 강력한 데이터 효율성과 낮은 계산 비용을 보인다.
• 소스 코드와 데이터셋은 GitHub와 Zenodo에 공개되어 있어 재현성과 향후 연구를 지원한다.