[論文レビュー] Anomaly Detection via Reverse Distillation from One-Class Embedding

Hanqiu Deng, Xingyu Li|arXiv (Cornell University)|Jan 26, 2022

Anomaly Detection Techniques and Applications被引用数 32

ひとこと要約

本論文は、教師エンコーダと訓練可能な一クラスボトルネック埋め込みと生徒デコーダを用いたリバース蒸留フレームワークを導入し、異常を検知・局所化する。MVTecと一クラス新規性ベンチマークで最先端の成果を達成。

ABSTRACT

Knowledge distillation (KD) achieves promising results on the challenging problem of unsupervised anomaly detection (AD).The representation discrepancy of anomalies in the teacher-student (T-S) model provides essential evidence for AD. However, using similar or identical architectures to build the teacher and student models in previous studies hinders the diversity of anomalous representations. To tackle this problem, we propose a novel T-S model consisting of a teacher encoder and a student decoder and introduce a simple yet effective "reverse distillation" paradigm accordingly. Instead of receiving raw images directly, the student network takes teacher model's one-class embedding as input and targets to restore the teacher's multiscale representations. Inherently, knowledge distillation in this study starts from abstract, high-level presentations to low-level features. In addition, we introduce a trainable one-class bottleneck embedding (OCBE) module in our T-S model. The obtained compact embedding effectively preserves essential information on normal patterns, but abandons anomaly perturbations. Extensive experimentation on AD and one-class novelty detection benchmarks shows that our method surpasses SOTA performance, demonstrating our proposed approach's effectiveness and generalizability.

研究の動機と目的

• 似たような教師/学生アーキテクチャと同一のデータフローにより生じる異常検知における従来の知識蒸留の限界に対処する。
• 異種のエンコーダ-デコーダT-Sモデルを提案し、異常表現を多様化する。
• 訓練可能な一クラス瓶ネック埋め込み（OCBE）を導入し、正常パターン情報を圧縮しつつ異常を捨てる。
• マルチスケール特徴を融合し、表現を整合させて異常の復元と識別性を向上させる。
• 教師なし異常検知、局在、及び一クラス新規性検出ベンチマークで最先端の性能を実証する。

提案手法

• 固定された事前学習済み教師エンコーダと訓練可能な生徒デコーダを、リバース蒸留構成（高レベルから低レベルへの知識伝達）として採用する。
• 埋め込み前に浅い/深い教師特徴を組み合わせるマルチスケール特徴融合（MFF）ブロックを使用する。
• 重要な正常パターン情報を保持する圧縮ボトルネック埋め込みを生成する一クラス埋め込み（OCE）ブロックを導入する。
• OCBEモジュールと生徒デコーダを訓練し、複数の特徴スケールに跨るコサイン類似度ベースの蒸留損失（L_KD）を最小化する。
• 教師と学生特徴間のコサイン類似度からピクセルレベルの異常マップM^kを計算し、それらを最終異常マップS_ALに集約する。S_ALからサンプルレベルのスコアS_ADを導出する。
• 推論時には教師と学生の表現間の低い類似度を異常の指標として用い、蓄積されたマルチスケールマップを用いて局在化する。

実験結果

リサーチクエスチョン

• RQ1 教師エンコーダと生徒デコーダを組み合わせたリバース蒸留パラダイムは、従来のKDと比較して教師なし異常検知における異常識別性を向上させることができるか？
• RQ2 訓練可能な一クラス瓶ネック埋め込み（OCBE）とマルチスケール特徴融合の導入は、正常パターンの復元と異常検出可能性を高めるか？
• RQ3 提案手法は標準的な異常検知、局在、一クラス新規性ベンチマークにおいて、先行技術と比較してどのように性能を示すか？
• RQ4 バックボーンの選択とマルチスケール特徴選択が検出/局在性能に与える影響は何か？

主な発見

• MVTecの異常検知と局在で最先端または競争力のある結果を達成し、平均AUROCおよびPRO指標でいくつかのベースラインを上回る。
• テクスチャと物体を通じて、ADでMVTecの平均AUROCを最高値（テクスチャ99.5%、物体98.0%）で達成。
• 異常局在では平均AUROC 97.8%、PRO 93.9%を達成し、従来手法を上回る。
• MNIST、FashionMNIST、CIFAR-10で強力な一クラス新規性検出性能を示し、AUROCがいくつかのベースラインを上回る。
• アブレーション研究は、OCBEとマルチスケール特徴融合（MFF）を組み込むとAUROC_ADが96.0から98.5に、AUROC_ALが96.9から97.8に改善することを示し、RPOも改善する。