[論文レビュー] Student-Teacher Feature Pyramid Matching for Anomaly Detection

Guodong Wang, Shumin Han+2 more|arXiv (Cornell University)|Mar 7, 2021

Anomaly Detection Techniques and Applications参考文献 45被引用数 104

ひとこと要約

論文は、ピクセルレベルの異常を効率的に検出するための多段スケールの特徴ピラミッド照合を用いた、単一の学生ネットワークと単一の教師ネットワークによるフレームワークを提案し、MVTec ADで最先端の結果を達成している。

ABSTRACT

Anomaly detection is a challenging task and usually formulated as an one-class learning problem for the unexpectedness of anomalies. This paper proposes a simple yet powerful approach to this issue, which is implemented in the student-teacher framework for its advantages but substantially extends it in terms of both accuracy and efficiency. Given a strong model pre-trained on image classification as the teacher, we distill the knowledge into a single student network with the identical architecture to learn the distribution of anomaly-free images and this one-step transfer preserves the crucial clues as much as possible. Moreover, we integrate the multi-scale feature matching strategy into the framework, and this hierarchical feature matching enables the student network to receive a mixture of multi-level knowledge from the feature pyramid under better supervision, thus allowing to detect anomalies of various sizes. The difference between feature pyramids generated by the two networks serves as a scoring function indicating the probability of anomaly occurring. Due to such operations, our approach achieves accurate and fast pixel-level anomaly detection. Very competitive results are delivered on the MVTec anomaly detection dataset, superior to the state of the art ones.

研究の動機と目的

• 正確な局在化を伴うワンクラス問題としての異常検知の課題に対処する。
• 画像分類で事前学習済みの教師を活用して、コンパクトな学生ネットワークを導く。
• 多尺度特徴ピラ headerッド照合を組み込み、さまざまなサイズの異常を検出する。
• 高速なピクセルレベルの局在化を可能にする、効率的な単一パス手法を提供する。

提案手法

• ImageNetで事前学習済みの教師ネットワークを使用し、同一アーキテクチャの学生ネットワークへその知識を1回のステップで蒸留する。
• 教師と学生の複数の下位層から特徴を抽出して（特徴ピラミッド）、ピクセルごとのベクトルを正規化する。
• ピラミッド全体の対応する空間位置でL2正規化された特徴ベクトル間のL2距離を最小化することで学習する（コサイン距離の代理指標）。
• スケールを跨ぐ教師と学生の特徴間のL2距離に基づく乖離としてピクセルごとの異常スコアを計算し、アップサンプリングしたマップを掛け合わせて最終的な異常マップを形成する。
• 最終的な異常マップの最大値を画像レベルの異常スコアとして推定し、ピクセルレベルの局在化と高速推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 多尺度特徴ピラミッド照合を用いて学習する単一の学生ネットワークは、正常データに対して教師の特徴をどの程度近似できるか？
• RQ2 多尺度特徴の共有は、さまざまなサイズの物体に対する異常局在化を改善するか？
• RQ3 標準的な画像データセットで教師を事前学習することは、異常検知タスクへどの程度転送できるか？
• RQ4 限られた学習データ（few-shot設定）でこの手法は頑健か？

主な発見

• MVTec ADデータセットにおけるピクセルレベルの異常検知で、いくつかの最先端手法を上回る。
• 多尺度特徴ピラミッド照合は、単一尺度の特徴照合より良い性能を示し、中間層の特徴（blocks 3と4）が強力な指導力を提供する。
• Teacher models pretrained on ImageNet and CIFAR-10/CIFAR-100 offer better transfer than MNIST/SVHN for this task.
• この手法は、限られた学習データ（5–10%）でも効果的で、few-shotシナリオでベースラインを上回る。
• ピラミッドを用いた単一の前方伝播により、複数のスケールでの異常の正確な局在化が可能。