[論文レビュー] Segment Anything in Defect Detection

Bozhen Hu, Bin Gao+3 more|arXiv (Cornell University)|Nov 17, 2023

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本稿では、非破壊検査からの高ノイズな赤外線熱画像における欠陥をセグメンテーションするための新規基盤モデル、DefectSAMを提案する。このモデルは、大規模かつ専門家がアノテートした熱画像欠陥データセットで微調整された、Segment Anything (SAM) フレームワークを基盤としている。専門家が提供するプロンプトとドメイン特化型の事前学習を活用することで、DefectSAMは最先端の性能を達成し、平板型の欠陥では100%のFスコア、R型（不規則形状）の欠陥では78.58%のIOU、R型では81.98%のIOUを達成した。これは、微小で弱く、不規則な形状の欠陥を検出する分野で、既存の手法を顕著に上回っている。

ABSTRACT

Defect detection plays a crucial role in infrared non-destructive testing systems, offering non-contact, safe, and efficient inspection capabilities. However, challenges such as low resolution, high noise, and uneven heating in infrared thermal images hinder comprehensive and accurate defect detection. In this study, we propose DefectSAM, a novel approach for segmenting defects on highly noisy thermal images based on the widely adopted model, Segment Anything (SAM)\cite{kirillov2023segany}. Harnessing the power of a meticulously curated dataset generated through labor-intensive lab experiments and valuable prompts from experienced experts, DefectSAM surpasses existing state-of-the-art segmentation algorithms and achieves significant improvements in defect detection rates. Notably, DefectSAM excels in detecting weaker and smaller defects on complex and irregular surfaces, reducing the occurrence of missed detections and providing more accurate defect size estimations. Experimental studies conducted on various materials have validated the effectiveness of our solutions in defect detection, which hold significant potential to expedite the evolution of defect detection tools, enabling enhanced inspection capabilities and accuracy in defect identification.

研究の動機と目的

• 非破壊検査における高ノイズな赤外線熱画像から微小で弱く、不規則な形状の欠陥を検出する課題に対処すること。
• 従来のディーブラーニングモデルが熱画像セグメンテーションにおいて抱える過学習や複雑な表面での一般化性能の低さの制限を克服すること。
• タスク固有の再トレーニングを必要とせず、さまざまな材料や欠陥タイプに一般化可能なユニバーサルで柔軟なセグメンテーションモデルを開発すること。
• 実際の産業分野の検査シナリオにおける欠陥サイズ推定の正確性を向上させ、見逃しを低減すること。
• 今後の研究やツール開発を可能にするため、熱欠陥検出のベンチマークデータセットとモデルを確立すること。

提案手法

• 光学パルス熱画像法（OPT）およびポータブルOPT（POPT）システムから収集した大規模かつ専門家がアノテートした熱画像データセットを用いて、事前学習済みのSegment Anything Model (SAM) を微調整すること。
• セグメンテーションプロセスを支援する専門家が提供するプロンプトを統合し、微細で不規則な形状の欠陥の検出を向上させること。
• 2段階のトレーニングパラダイムを採用：自然画像で事前学習した後、熱欠陥データでドメイン特化型の微調整を実施すること。
• プロンプト誘導型推論を適用し、特にコントラストが低くノイズが多い領域のセグメンテーション精度を向上させること。
• 多様な産業用表面および欠陥タイプに耐性を持つ多素材・多幾何形状のデータセットを活用して、モデルの堅牢性を確保すること。
• Fスコアおよび交差率（IOU）といった標準指標を用いて、平板型および不規則形状（R型）の欠陥幾何形状の両方でモデルの妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 非破壊検査の高ノイズな熱画像における欠陥検出に、SAMのような基盤モデルを効果的に適応できるか？
• RQ2 専門家が提供するプロンプトは、熱画像における弱く不規則な形状の欠陥のセグメンテーション精度をどのように向上させるか？
• RQ3 既存のSOTAモデルと比較して、DefectSAMは異なる素材や欠陥幾何形状にどの程度一般化できるか？
• RQ4 1つのモデルが、タスク固有の再トレーニングなしに、平板型および複雑な不規則形状の表面の両方で優れた性能を達成できるか？
• RQ5 ドメイン特化型の微調整は、熱画像セグメンテーションにおけるIOUおよびFスコアにどのような影響を及ぼすか？

主な発見

• DefectSAMは、平板型およびR型の熱画像の両方で100.0%のFスコアを達成し、MedSAM や 3D-UNet++ といった既存手法をすべて上回った。
• 平板型画像では78.58%のIOU、R型画像では81.98%のIOUを達成し、それぞれ3D-UNet++-Sequence PCAと比較して18.05%および24.68%の向上を示した。
• モデルは複雑で円形でない形状の欠陥を正しくセグメンテーションできており、MedSAMが見られる円形バイアス（長方形の欠陥を誤って円形にセグメンテーションする）を回避した。
• DefectSAMは優れた一般化性能を示し、従来のモデルが失敗する低コントラスト・高ノイズ条件下でもすべての欠陥を検出できた。
• 熱画像データへの追加トレーニングを必要とせず、自然画像の事前学習から得た強力なゼロショット転送能力を示した。
• 専門家が提供するプロンプトは、特に微小で弱い欠陥の検出漏れを顕著に低減し、形状の正確性を向上させた。