[論文レビュー] MuSc: Zero-Shot Industrial Anomaly Classification and Segmentation with Mutual Scoring of the Unlabeled Images

Xurui Li, Ziming Huang+2 more|arXiv (Cornell University)|Jan 30, 2024

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

MuSc はラベルなしのテスト画像間の相互採点を用いたゼロショットの異常分類とセグメンテーションを実行し、訓練データやプロンプトを回避して、MVTec AD および VisA で最先端のゼロショット結果を達成します。

ABSTRACT

This paper studies zero-shot anomaly classification (AC) and segmentation (AS) in industrial vision. We reveal that the abundant normal and abnormal cues implicit in unlabeled test images can be exploited for anomaly determination, which is ignored by prior methods. Our key observation is that for the industrial product images, the normal image patches could find a relatively large number of similar patches in other unlabeled images, while the abnormal ones only have a few similar patches. We leverage such a discriminative characteristic to design a novel zero-shot AC/AS method by Mutual Scoring (MuSc) of the unlabeled images, which does not need any training or prompts. Specifically, we perform Local Neighborhood Aggregation with Multiple Degrees (LNAMD) to obtain the patch features that are capable of representing anomalies in varying sizes. Then we propose the Mutual Scoring Mechanism (MSM) to leverage the unlabeled test images to assign the anomaly score to each other. Furthermore, we present an optimization approach named Re-scoring with Constrained Image-level Neighborhood (RsCIN) for image-level anomaly classification to suppress the false positives caused by noises in normal images. The superior performance on the challenging MVTec AD and VisA datasets demonstrates the effectiveness of our approach. Compared with the state-of-the-art zero-shot approaches, MuSc achieves a $ extbf{21.1%}$ PRO absolute gain (from 72.7% to 93.8%) on MVTec AD, a $ extbf{19.4%}$ pixel-AP gain and a $ extbf{14.7%}$ pixel-AUROC gain on VisA. In addition, our zero-shot approach outperforms most of the few-shot approaches and is comparable to some one-class methods. Code is available at https://github.com/xrli-U/MuSc.

研究の動機と目的

• ラベルなしのテスト画像に含まれる豊富な手掛かりを活用してゼロショット AC/AS を動機づける。
• 様々なサイズの異常を検知できるパッチレベル表現を開発する。
• ラベル付きデータなしで異常スコアを割り当てる相互採点機構を導入する。
• 通常画像ノイズによる偽陽性を抑制するための画像レベル異常分類を最適化する。

提案手法

• Patch tokens を複数スケールで符号化する Local Neighborhood Aggregation with Multiple Degrees (LNAMD) を用いる。
• ラベルなし画像同士が互いのパッチをスコア付けして異常可能性を推定する Mutual Scoring Mechanism (MSM) を適用する。
• 複数の ViT 段と集約度合いを平均してパッチレベルの異常スコアを計算する。
• 近傍グラフを用いて画像レベルの異常分類を精練する Constrained Image-level Neighborhood を用いた Re-scoring (RsCIN) を導入する。
• 画像レベルのスコアを精練する際に局所近傍に影響を限定する Multi-window Mask Operation (MMO) を任意で採用する。
• ViT-L/14-336 事前学習バックボーンを用い、セグメンテーションと分類の前にパッチレベル特徴を集約する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのテスト画像は、ゼロショット AC/AS において正常パッチと異常パッチを識別するのに十分な手掛かりを提供するか。
• RQ2 複数の近傍度でパッチ特徴を集約することは、異なるサイズの異常の検出を改善するか。
• RQ3 ラベルなしデータを活用した相互採点スキームは、ラベル付き訓練データなしに pixel レベルの信頼性の高いセグメンテーションを生み出せるか。
• RQ4 限界付き近傍を用いた画像レベルの再スコアリングは全体的な異常分類性能を向上させるか。
• RQ5 MuSc は標準的な産業用異常データセットにおける既存のゼロショット・Few-shot 手法とどう比較されるか。

主な発見

データセット	手法	設定	AUROC-cls	F1-max-cls	AP-cls	AUROC-segm	F1-max-segm	AP-segm	PRO-segm
MVTec AD	WinCLIP	0-shot	91.8	92.9	96.5	85.1	31.7	-	64.6
MVTec AD	APRIL-GAN	0-shot	86.1	90.4	93.5	87.6	43.3	40.8	44.0
MVTec AD	ACR	0-shot	85.8	91.3	92.9	92.5	44.2	38.9	72.7
MVTec AD	MuSc (ours)	0-shot	97.8	97.5	99.1	97.3	62.6	62.7	93.8
VisA	WinCLIP	0-shot	78.1	79.0	81.2	79.6	14.8	-	56.8
VisA	MuSc (ours)	0-shot	92.8	89.5	93.5	98.8	48.8	45.1	92.7

• MuSc は MVTec AD でゼロショット設定において AC の AUROC 97.8、F1-max 97.5、AS の AP 99.1 を達成し、いくつかのゼロショットベースラインを上回る。
• MuSc は VisA でゼロショット設定において AC の AUROC 98.8、AP 92.7、AS の AP を 93.5 で達成し、ほとんどのゼロショット競合を上回る。
• 異常セグメンテーションについて、MuSc は MVTec AD における2番手ゼロショット手法と比較して PRO を 21.1 ポイント、AP を 21.9 ポイント改善。
• MuSc は比較可能なタスクで多くのFew-shot 手法（例: 4-shot）を上回る性能を示し、いくつかのFull-shot 手法と競合する。
• アブレーション研究では、複数の集約度合い（r ∈ {1,3,5}）と最小パーセントサンプリングを用いる MSM が AC/AS 性能で最良を示す。