[論文レビュー] Sub-Image Anomaly Detection with Deep Pyramid Correspondences

Niv Cohen, Yedid Hoshen|arXiv (Cornell University)|May 5, 2020

Anomaly Detection Techniques and Applications参考文献 45被引用数 325

ひとこと要約

SPADEは、多分解能の特徴ピラミッドと最近傍画像対応を用いて、広範な訓練を必要とせずに画像内の異常を検出・局在します。

ABSTRACT

Nearest neighbor (kNN) methods utilizing deep pre-trained features exhibit very strong anomaly detection performance when applied to entire images. A limitation of kNN methods is the lack of segmentation map describing where the anomaly lies inside the image. In this work we present a novel anomaly segmentation approach based on alignment between an anomalous image and a constant number of the similar normal images. Our method, Semantic Pyramid Anomaly Detection (SPADE) uses correspondences based on a multi-resolution feature pyramid. SPADE is shown to achieve state-of-the-art performance on unsupervised anomaly detection and localization while requiring virtually no training time.

研究の動機と目的

• 訓練時に正常データのみが利用可能な場合に、画像内の異常を特定してセグメント化する課題に取り組む。
• ピクセルレベルの局在化を提供する、高速で訓練負荷の少ない異常検出フレームワークを開発する。
• 事前学習済みの深層特徴と多解像度特徴ピラミッドを活用して、画像間の堅牢な対応を実現する。

提案手法

• 全画像とピクセル位置のために、事前学習済みの深層特徴（ImageNet-resnet）を抽出する。
• 画像レベルの特徴を用いてK近傍の正常画像を取得し、正常な文脈を特定する。
• K近傍の正常画像からピクセルレベルの特徴ギャラリーを構築し、各ピクセルの密な対応を計算する。
• ギャラリー内の最近傍特徴のkappa個への距離の平均として、ピクセルごとに異常スコアを計算する。
• 複数レベルのResNet特徴を連結して特徴ピラミッドを使用し、文脈を跨いだ堅牢なピクセル対応を実現する。
• 局所特徴距離が閾値を超える場合にピクセルを異常としてラベリングし、最終マップにはガウシアン平滑化を適用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な異常訓練データを用いずに、KNNベースの対応駆動アプローチはサブ画像の異常を局在化できるか？
• RQ2 マルチスケールの特徴ピラミッドを組み込むことで、単一スケール特徴と比べてピクセルレベルの局在化精度が向上するか？
• RQ3 産業用データセット（MVTech）と監視データセット（Shanghai Tech Campus）における画像レベルおよびピクセルレベルの指標で、手法の性能はどうか？
• RQ4 異常検出と局在化のために、事前学習済みImageNet特徴と自己教師付き学習特徴を使用することの影響は何か？

主な発見

• SPADEはMVTechおよびShanghai Tech Campusデータセットでサブ画像異常検出と局在化において最先端の性能を達成する。
• 複数レベルの特徴ピラミッドを使用することで、単一レイヤー特徴よりピクセルレベルの局在精度が向上する。
• このアプローチは画像レベルの異常検出が強力で、ピクセルレベルのROCAUCおよびPROスコアが、いくつかのオートエンコーダーベース手法より有意に優れている。
• 本手法は、事前学習特徴の抽出と最近傍検索以外、ほとんど訓練時間を要さない。