[論文レビュー] 2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection

Yunkang Cao, Xiaohao Xu+4 more|arXiv (Cornell University)|Jun 15, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、分野の専門家知識とターゲット画像の文脈から抽出されたマルチモーダルプロンプトを活用して、SAM や GroundingDINO などのフォーベーションモデルを正則化する、データ中心的でゼロショットの異常セグメンテーションフレームワーク、SAA+ を提案する。言語、プロパティ、顕著性、信頼度プロンプトを統合することで、VisA および MVTec-AD ベンチマークにおいて最先端の性能を達成し、ベースラインのプロンプトベース手法と比較して誤検出を顕著に低減した。

ABSTRACT

This technical report introduces the winning solution of the team Segment Any Anomaly for the CVPR2023 Visual Anomaly and Novelty Detection (VAND) challenge. Going beyond uni-modal prompt, e.g., language prompt, we present a novel framework, i.e., Segment Any Anomaly + (SAA$+$), for zero-shot anomaly segmentation with multi-modal prompts for the regularization of cascaded modern foundation models. Inspired by the great zero-shot generalization ability of foundation models like Segment Anything, we first explore their assembly (SAA) to leverage diverse multi-modal prior knowledge for anomaly localization. Subsequently, we further introduce multimodal prompts (SAA$+$) derived from domain expert knowledge and target image context to enable the non-parameter adaptation of foundation models to anomaly segmentation. The proposed SAA$+$ model achieves state-of-the-art performance on several anomaly segmentation benchmarks, including VisA and MVTec-AD, in the zero-shot setting. We will release the code of our winning solution for the CVPR2023 VAN.

研究の動機と目的

• 曖昧でクラスに依存しない言語プロンプトに起因するゼロショット異常セグメンテーションにおける高い誤検出率を是正すること。
• ファインチューニングを伴わず、フォーベーションモデルのゼロショット一般化性能を向上させること。
• 分野固有の専門家知識と動的画像文脈をプロンプト設計に統合し、異常の局所化を改善すること。
• モデル再訓練を伴わず、マルチモーダルプロンプティングによるフォーベーションモデルの正則化を実現するデータ中心のフレームワークを構築すること。
• ファインチューニングなしで、ゼロショット設定下で VisA および MVTec-AD で最先端の性能を達成すること。

提案手法

• プロンプト誘導型オブジェクト検出器（GroundingDINO）とセグメンテーションモデル（SAM）を段階的に接続することで、ベースラインとなる「Segment Any Anomaly（SAA）」を構築する。
• SAA+ においては、4 種類のプロンプトタイプ（言語プロンプト（例：「欠陥」）、プロパティプロンプト（例：「長すぎる」）、顕著性プロンプト（画像特徴から得る）、信頼度プロンプト（上位 K 領域スコアから得る））を用いたマルチモーダルプロンプティングを導入する。
• 事前学習済みの WideResNet50 から得られる視覚的顕著性マップを用いて、領域選択をガイドし、局所化精度を向上させる。
• 信頼度ランク付けを適用して、スコアに基づき上位 K 個の予測を選択することで、ノイズを低減する。
• 重み付き集約を用いて複数のプロンプト信号を統合し、ソフト投票機構により最終的な異常マップを生成する。
• モデルのファインチューニングを回避するプロンプト正則化戦略を採用することで、完全なゼロショット適合を実現する。

Figure 1 : Towards segmenting any anomaly without training, we first construct a vanilla baseline (Segment Any Anomaly, SAA) by prompting into a cascade of anomaly region generator ( e.g. , a prompt-guided object detection foundation model [ 2 ] ) and anomaly region refiner ( e.g. , a segmentation f

実験結果

リサーチクエスチョン

• RQ1 ナチュラルな言語プロンプトと比較して、マルチモーダルプロンプティングは、ゼロショット異常セグメンテーションにおける誤検出を顕著に低減できるか？
• RQ2 分野専門家が抽出したプロンプト（例：特定の欠陥記述）は、局所化精度の向上にどの程度有効か？
• RQ3 視覚的顕著性や信頼度スコアといった画像文脈は、フォーベーションモデルの予測のロバスト性をどの程度向上できるか？
• RQ4 複数のプロンプトモダリティを統合することで、単一モダリティのプロンプティングに比べて一般化性能が向上するか？
• RQ5 ファインチューニングなしで、データ中心のプロンプトベースのアプローチが、最先端の性能を達成できるか？

主な発見

• SAA+ は VisA で最大 F1 ピixeL スコア 27.07、MVTec-AD で 39.40 を達成し、WinClip や ClipSeg、UTAD などの従来手法を顕著に上回った。
• アブレーションスタディの結果、4 種類のプロンプトタイプ（言語、プロパティ、顕著性、信頼度）のいずれかを除去すると性能が低下し、各コンponent の寄与が確認された。
• 言語プロンプトの除去（w/o 𝒫ᴸ）により、VisA で 3.78 ポints のスコア低下が生じ、基本的なプロンプトがベースラインの局所化に不可欠であることを示した。
• 顕著性プロンプトの除去（w/o 𝒫ˢ）により、MVTec-AD で 7.68 ポイントのスコア低下が生じ、異常検出における空間的文脈の重要性が強調された。
• 信頼度プロンプトの除去（w/o 𝒫ᶜ）は、VisA で最も顕著な性能低下（27.07 → 26.70）を引き起こし、スコアベースのフィルタリングが予測の信頼性を向上させることを示した。
• 定性的な結果から、SAA+ は、微細で複雑な欠陥を含む多様な異常タイプを、高い精度と最小限の誤検出で検出できることを確認した。

Figure 2 : Overview of the proposed Segment Any Anomaly + (SAA+) framework. We adapt foundation models to zero-shot anomaly segmentation via multimodal prompt regularization. In specific, apart from naive class-agnostic language prompts, the regularization comes from both domain expert knowledge, in