[論文レビュー] CLIP-AD: A Language-Guided Staged Dual-Path Model for Zero-shot Anomaly Detection

Xuhai Chen, Jiangning Zhang+6 more|arXiv (Cornell University)|Nov 1, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

CLIP-AD は、Staged Dual-Path (SDP) モデルと SDP+ 微調整拡張を備えた言語ガイド付きゼロショット異常検出フレームワークを導入し、 elaborate prompts やマルチスケールエンコードなしで MVTec-AD および VisA において最先端の性能を達成します。

ABSTRACT

This paper considers zero-shot Anomaly Detection (AD), performing AD without reference images of the test objects. We propose a framework called CLIP-AD to leverage the zero-shot capabilities of the large vision-language model CLIP. Firstly, we reinterpret the text prompts design from a distributional perspective and propose a Representative Vector Selection (RVS) paradigm to obtain improved text features. Secondly, we note opposite predictions and irrelevant highlights in the direct computation of the anomaly maps. To address these issues, we introduce a Staged Dual-Path model (SDP) that leverages features from various levels and applies architecture and feature surgery. Lastly, delving deeply into the two phenomena, we point out that the image and text features are not aligned in the joint embedding space. Thus, we introduce a fine-tuning strategy by adding linear layers and construct an extended model SDP+, further enhancing the performance. Abundant experiments demonstrate the effectiveness of our approach, e.g., on MVTec-AD, SDP outperforms the SOTA WinCLIP by +4.2/+10.7 in segmentation metrics F1-max/PRO, while SDP+ achieves +8.3/+20.5 improvements.

研究の動機と目的

• CLIP のゼロショット分類力をテスト対象物画像なしで異常検出に活用する。
• CLIP の異常セグメンテーションにおける単純なテキスト-画像特徴類似度の失敗モード（反対予測とノイズのハイライト）を対処する。
• fine-tuning なしで正確な異常マップを生成するために、マルチレベル特徴と特徴手術を活用する。
• SDP+ を通じて CLIP の画像特徴とテキスト埋め込みの整合性を向上させるため、ターゲットを絞った微調整を行う。
• 標準ベンチマークで最先端の Zero-/Few-shot AD 手法に対する強い性能向上を実証する。

提案手法

• マルチスケールエンコードおよび後処理の必要性を削減した言語ガイド付き CLIP-AD フレームワークを提案する。
• Staged Dual-Path (SDP) を導入し、マルチレベル ViT 特徴をアーキテクチャと特徴手術と融合してクリーンな異常マップを作る。
• 反転予測を抑制するために注意機構/FFN 経路を修正してアーキテクチャ手術を適用する。
• テキストガイド付き減算機構によって冗長な特徴を削除する特徴手術を実装する。
• SDP+ を拡張し、画像特徴を CLIP の結合埋め込み空間へ投影する軽量な線形写像を追加して横断モーダル整合性を高める。
• ゼロショット性を保持しつつ、セグメンテーションを改善するために、焦点損失とダイス損失を用いて少数の線形層のみを微調整する。

実験結果

リサーチクエスチョン

• RQ1 CLIP ベースのゼロショット手法は、テスト対象物の参照なしに異常分類とセグメンテーションで競争力を発揮できるか。
• RQ2 なぜ CLIP での単純なテキスト-画像類似度マップは異常セグメンテーションで挙動を乱すのか、アーキテクチャ/特徴レベルの介入で修正できるか。
• RQ3 段階的で多レベルの特徴融合（SDP）は、単純なテクスチャから複雑なオブジェクト欠陥まで異常検出を改善するか。
• RQ4 軽量な微調整拡張（SDP+）は、画像特徴をテキスト埋め込みと整合させることで性能を大幅に向上させるか。

主な発見

• SDP は MVTec-AD および VisA のセグメンテーション指標で従来のゼロショット手法を上回り、WinCLIP に対して顕著な向上を示す。
• SDP+ はさらにセグメンテーションと分類指標を改善し、いくつかのベンチマークで SOTA に対して大きな利得を得る。
• 直接的なテキスト-画像類似度マップは反対予測やノイジーなハイライトを生みやすく、SDP アプローチを動機づける。
• マルチステージ特徴融合とアーキテクチャ手術により、複雑なプロンプトや後処理を用いずに、より正確で安定した異常マップを得られる。
• 画像特徴を CLIP の埋め込み空間へ整列させる少数の線形層の微調整（SDP+）は、特にセグメンテーション PRO およびピクセルレベルの指標で大きな改善をもたらす。
• アブレーションを通じて、より大きな CLIP バックボーンや異なる事前学習 weights が性能に影響を与えることが分かる一方、OpenAI 系と LAION 系モデルにはそれぞれ異なる利点があり、しかし SDP/SDP+ は一貫してベースラインを改善する。