[논문 리뷰] SAM-based instance segmentation models for the automation of structural damage detection

Zehao Ye, Lucy Lovell외 2명|arXiv (Cornell University)|2024. 01. 27.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 자동화된 마른 벽면 균열 검출을 위한 새로운 SAM 기반 인스턴스 세그멘테이션 방법을 제안하며, 학습 가능한 자기 생성 프롬프터와 프롬프트 없는 디코더 통합을 도입한다. LoRA로 미세조정된 모델은 전반적으로 약 3% 향상되고 균열에 대해서는 약 6% 향상되어 최신 기술 수준을 초월하며, 단일 카메라와 Hough 선 변환 기반 정사투영을 통해 레이저 스캐닝 결과와 10% 이내로 정확한 균열 크기 추정이 가능하다.

ABSTRACT

Automating visual inspection for capturing defects based on civil structures appearance is crucial due to its currently labour-intensive and time-consuming nature. An important aspect of automated inspection is image acquisition, which is rapid and cost-effective considering the pervasive developments in both software and hardware computing in recent years. Previous studies largely focused on concrete and asphalt, with less attention to masonry cracks. The latter also lacks publicly available datasets. In this paper, we first present a corresponding data set for instance segmentation with 1,300 annotated images (640 pixels x 640 pixels), named as MCrack1300, covering bricks, broken bricks, and cracks. We then test several leading algorithms for benchmarking, including the latest large-scale model, the prompt-based Segment Anything Model (SAM). We fine-tune the encoder using Low-Rank Adaptation (LoRA) and proposed two novel methods for automation of SAM execution. The first method involves abandoning the prompt encoder and connecting the SAM encoder to other decoders, while the second method introduces a learnable self-generating prompter. In order to ensure the seamless integration of the two proposed methods with SAM encoder section, we redesign the feature extractor. Both proposed methods exceed state-of-the-art performance, surpassing the best benchmark by approximately 3% for all classes and around 6% for cracks specifically. Based on successful detection, we propose a method based on a monocular camera and the Hough Line Transform to automatically transform images into orthographic projection maps. By incorporating known real sizes of brick units, we accurately estimate crack dimensions, with the results differing by less than 10% from those obtained by laser scanning. Overall, we address important research gaps in automated masonry crack detection and size estimation.

연구 동기 및 목표

• 마른 벽면 균열 인스턴스 세그멘테이션을 위한 공개된 데이터셋 부족 문제를 해결하기 위해.
• 딥 러닝을 활용해 마른 벽면의 균열과 깨진 벽돌을 중심으로 구조적 손상 검출을 자동화하기 위해.
• 실제 구조적 점검에 적용할 때 Segment Anything Model (SAM)의 프롬프트 의존성에 기인한 한계를 극복하기 위해.
• 기하학적 변환을 통해 단일 카메라 이미지에서 균열 치수 추정을 정확하게 수행하기 위해.
• 민간 인프라의 자동 시각적 점검을 위한 확장 가능하고 저비용 솔루션 개발하기 위해.

제안 방법

• 벽돌, 깨진 벽돌, 균열을 포함한 총 1,300장의 이미지(640×640 픽셀)로 구성된 새로운 데이터셋 MCrack1300을 제안하였다.
• 효율적인 파라미터 적응을 위해 Low-Rank Adaptation (LoRA)를 사용하여 SAM 인코더를 미세조정하였다.
• 프롬프트 인코더를 다른 디코더로 대체하여 SAM 인코더에 직접 연결함으로써 프롬프트 없는 방법을 도입하였다.
• 자신만의 효과적인 프롬프트를 자동으로 생성하는 학습 가능한 자기 생성 프롬프터를 개발하였다.
• 두 가지 신규 방법과 SAM 인코더 간의 원활한 통합을 보장하기 위해 특징 추출기 재설계를 수행하였다.
• 실세계 이미지에서 정사투영 지ap을 생성하기 위해 단일 카메라 영상과 Hough 선 변환을 조합하였다.

실험 결과

연구 질문

• RQ1 표준 프롬프트 기반 추론과 비교해, 미세조정된 프롬프트 없는 SAM 적응이 마른 벽면 균열의 인스턴스 세그멘테이션 성능에서 뛰어난 성능을 내는가?
• RQ2 학습 가능한 자기 생성 프롬프터가 자동 구조적 손상 검출에서 인간이 제공한 프롬프트를 효과적으로 대체할 수 있는가?
• RQ3 기존 벽돌 치수를 알고 있는 단일 카메라 기반 정사투영이 균열 길이 추정에 얼마나 정확하게 기여하는가?
• RQ4 모든 균열 및 마른 벽면 결함 클래스에 대해 최신 기술 수준 모델과 비교해, 제안된 방법의 mAP 성능은 어떠한가?
• RQ5 레이저 스캐닝 기준값과 비교해, 시스템이 균열 크기 추정에서 10% 이내의 오차를 달성할 수 있는가?

주요 결과

• 제안된 프롬프트 없는 방법은 모든 결함 클래스에서 최고의 벤치마크 모델 대비 평균 정밀도(mAP)에서 3% 향상된 성능을 기록하였다.
• 균열 전용 검출에서는 mAP 기준으로 최신 기술 수준을 약 6% 초월하였다.
• 학습 가능한 자기 생성 프롬프터는 수동 프롬프트 설계 없이도 뛰어난 성능을 보였다.
• 단일 카메라와 Hough 선 변환 방법을 활용한 균열 길이 추정 결과는 레이저 스캐닝 측정치와 10% 이내로 일치하였다.
• MCrack1300 데이터셋은 고해상도, 완전히 애너테이션 처리된 1,300장의 이미지로 구성되어 마른 벽면 균열 인스턴스 세그멘테이션의 새로운 벤치마크를 제공한다.
• 다시 설계된 특징 추출기의 통합으로 두 제안된 방법 모두 안정적이고 높은 성능의 추론이 가능해졌다.