[논문 리뷰] Segment Anything in Defect Detection

Bozhen Hu, Bin Gao외 3명|arXiv (Cornell University)|2023. 11. 17.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 고노이즈 인프라레드 열화상 이미지에서 결함을 분할하기 위한 새로운 기초 모델인 DefectSAM을 제안한다. 이는 대규모 전문가 애너테이션을 적용한 열화상 결함 데이터셋으로 미세조정된 Segment Anything (SAM) 프레임워크를 기반으로 한다. 전문가가 제공한 프롬프트와 도메인 특화 사전학습을 활용함으로써 DefectSAM은 최신 기술 수준의 성능을 달성하여 평탄한 형태의 결함에서는 100% F-스코어와 78.58% IOU를 기록하고, R형(비정형) 열화상 이미지에서는 81.98% IOU를 달성하며, 소형, 약한, 비정형 형태의 결함을 탐지하는 데 있어 기존 방법들을 크게 능가한다.

ABSTRACT

Defect detection plays a crucial role in infrared non-destructive testing systems, offering non-contact, safe, and efficient inspection capabilities. However, challenges such as low resolution, high noise, and uneven heating in infrared thermal images hinder comprehensive and accurate defect detection. In this study, we propose DefectSAM, a novel approach for segmenting defects on highly noisy thermal images based on the widely adopted model, Segment Anything (SAM)\cite{kirillov2023segany}. Harnessing the power of a meticulously curated dataset generated through labor-intensive lab experiments and valuable prompts from experienced experts, DefectSAM surpasses existing state-of-the-art segmentation algorithms and achieves significant improvements in defect detection rates. Notably, DefectSAM excels in detecting weaker and smaller defects on complex and irregular surfaces, reducing the occurrence of missed detections and providing more accurate defect size estimations. Experimental studies conducted on various materials have validated the effectiveness of our solutions in defect detection, which hold significant potential to expedite the evolution of defect detection tools, enabling enhanced inspection capabilities and accuracy in defect identification.

연구 동기 및 목표

• 비파괴 검사에서 얻은 고노이즈 인프라레드 열화상 이미지에서 소형, 약한, 비정형 형태의 결함을 탐지하는 데 도전하는 것.
• 기존 딥러닝 모델의 열화상 이미지 분할에 대한 한계, 즉 과적합 및 복잡한 표면에서의 낮은 일반화 능력을 극복하는 것.
• 특정 작업에 맞게 재학습이 필요 없이 다양한 재질과 결함 유형에 일반화되는 유연하고 적용 가능한 분할 모델을 개발하는 것.
• 실제 산업 현장의 검사 환경에서 결함 크기 추정 정확도를 향상시키고 빠짐없이 탐지하는 것을 향한 개선.
• 향후 연구 및 도구 개발을 가능하게 하는 기준 데이터셋과 모델을 구축하는 것.

제안 방법

• 광학 펄스 열화상(optimial pulsed thermography, OPT) 및 이동식 OPT(POPT) 시스템에서 확보한 대규모 전문가 애너테이션을 적용한 열화상 이미지 데이터셋으로 사전학습된 Segment Anything Model (SAM)을 미세조정하는 것.
• 결함 탐지의 정밀도를 향상시키기 위해 전문가가 제공한 프롬프트를 통합하여 미세하고 비정형 결함의 탐지 능력을 향상시키는 것.
• 두 단계 학습 파라다임을 적용: 자연 이미지에서의 사전학습 후 열화상 결함 데이터에 대한 도메인 특화 미세조정.
• 저대비 및 노이즈가 많은 영역에서의 정확도 향상을 위해 프롬프트 유도 추론을 적용하는 것.
• 다양한 산업용 표면과 결함 유형에 대한 강건성을 확보하기 위해 다재질, 다기하학적 데이터셋을 활용하는 것.
• 평탄한 표면과 비정형(R형) 결함 기하학에 대해 표준 평가 지표인 F-스코어와 교차율(Intersection over Union, IOU)을 사용하여 모델 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 비파괴 검사에서 얻은 고노이즈 열화상 이미지에서 결함을 탐지하기 위해 SAM과 같은 기초 모델을 효과적으로 적용할 수 있는가?
• RQ2 전문가가 제공한 프롬프트는 열화상 이미지에서 약한 결함과 비정형 형태의 결함에 대해 분할 정확도를 어떻게 향상시키는가?
• RQ3 기존 최신 기술 수준의 모델과 비교해 볼 때 DefectSAM은 다양한 재질과 결함 기하학에 대해 얼마나 잘 일반화되는가?
• RQ4 특정 작업에 맞게 재학습 없이도 하나의 모델이 평탄한 표면과 복잡한 비정형 표면에서 모두 뛰어난 성능을 달성할 수 있는가?
• RQ5 도메인 특화 미세조정은 열화상 이미지 분할에서 결함 탐지에 있어 IOU와 F-스코어에 어떤 영향을 미치는가?

주요 결과

• DefectSAM은 평탄한 형태와 R형 열화상 이미지에서 모두 100.0% F-스코어를 기록하여 MedSAM 및 3D-UNet++와 같은 모든 기존 방법들을 능가한다.
• DefectSAM은 평탄한 형태의 이미지에서 78.58% IOU, R형 이미지에서는 81.98% IOU를 기록하며, 각각 3D-UNet++-Sequence PCA 대비 18.05%, 24.68% 향상된 성능을 보였다.
• 모델은 복잡하고 원형이 아닌 형태의 결함을 성공적으로 분할하였으며, MedSAM에서 관찰된 원형 편향(직사각형 결함을 원형으로 잘못 분할) 문제를 피했다.
• DefectSAM은 뛰어난 일반화 능력을 보이며, 전통적인 모델이 실패하는 저대비, 고노이즈 조건에서도 모든 결함을 탐지했다.
• 열화상 데이터에 대한 추가 학습 없이도 높은 성능 유지를 보이며 자연 이미지 사전학습에서 유도된 강력한 제로샷 전이 능력을 보였다.
• 전문가가 제공한 프롬프트는 특히 소형 및 약한 결함의 경우 빠짐없이 탐지하고 형태 정확도를 향상시키는 데 있어 뚜렷한 기여를 하였다.