[論文レビュー] FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows

Jiawei Yu, Ye Zheng+5 more|arXiv (Cornell University)|Nov 15, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用数 214

ひとこと要約

FastFlow は無監督異常検知とピクセルレベルの局在化のための2D正規化フローを導入し、CNNやViTの特徴抽出器の上にプラグインとして機能し、正常な特徴を標準正規分布へ写像し、尤度を異常スコアリングに用いる。

ABSTRACT

Unsupervised anomaly detection and localization is crucial to the practical application when collecting and labeling sufficient anomaly data is infeasible. Most existing representation-based approaches extract normal image features with a deep convolutional neural network and characterize the corresponding distribution through non-parametric distribution estimation methods. The anomaly score is calculated by measuring the distance between the feature of the test image and the estimated distribution. However, current methods can not effectively map image features to a tractable base distribution and ignore the relationship between local and global features which are important to identify anomalies. To this end, we propose FastFlow implemented with 2D normalizing flows and use it as the probability distribution estimator. Our FastFlow can be used as a plug-in module with arbitrary deep feature extractors such as ResNet and vision transformer for unsupervised anomaly detection and localization. In training phase, FastFlow learns to transform the input visual feature into a tractable distribution and obtains the likelihood to recognize anomalies in inference phase. Extensive experimental results on the MVTec AD dataset show that FastFlow surpasses previous state-of-the-art methods in terms of accuracy and inference efficiency with various backbone networks. Our approach achieves 99.4% AUC in anomaly detection with high inference efficiency.

研究の動機と目的

• 異常サンプルが不足するまたは利用できない場合に効率的な無監督異常検知と局在化を動機づける。
• 空間構造を保持する2D正規化フローで正常な特徴分布をモデル化する。
• 各バックボーンと互換性のある軽量なプラグインフローモジュールを用いてエンドツーエンド推論を可能にする。

提案手法

• 空間関係を保持する完全畳み込みフローブロックで2Dに正規化フローを拡張する。
• 流れのサブネットで交互に3x3と1x1の畳み込みカーネルを用い、精度と効率のバランスを取る。
• 正常データ上でFastFlowを訓練し特徴を標準正規分布へ変換し、得られた尤度を異常スコアとして用いる。
• 2Dフローから直接ピクセルレベルの異常マップを出力するエンドツーエンド推論をサポートする。
• CNNの特徴抽出器（例: ResNet）とViTをプラグインとして組み込む。

実験結果

リサーチクエスチョン

• RQ1 2D正規化フローは無監督異常検知のためにグローバルおよび局所の特徴分布を効果的にモデル化できるか？
• RQ2 完全畳み込みブロックを用いた2Dフローはスライディングウィンドウのパッチ処理なしで異常局在化を改善できるか？
• RQ3 FastFlowの性能はバックボーンアーキテクチャ（CNN vs ViT）およびフロー構成によってどのように変化するか？
• RQ4 FastFlowを用いたエンドツーエンド推論はパッチベースまたはKNNベースの方法よりも効率的で、精度を維持できるか？

主な発見

カテゴリ	画像レベル AUC	ピクセルレベル AUC
carpet	100.0	99.3
grid	99.7	98.3
leather	100.0	99.5
tile	100.0	96.3
wood	100.0	97.0
bottle	100.0	98.6
cable	100.0	98.4
capsule	100.0	99.1
hazelnut	100.0	99.1
meta nut	100.0	98.5
pill	99.4	99.2
screw	97.8	99.4
toothbrush	94.4	98.9
transistor	99.8	97.3
zipper	99.5	98.7

• FastFlow は MVTec AD で画像レベルのAUC が最先端であり、ピクセルレベルAUC も競争力を持つ、例えば特定のバックボーンで画像レベルAUC 99.4、ピクセルレベルAUC 98.5。
• Patch Core や CFlow などの手法と比べ、FastFlow は推論速度を大幅に向上させる（いくつかの設定で最大10x 高速）。
• FastFlow は ViT と CNN のバックボーンの両方で堅牢な性能を維持し、異常局在化のための空間情報を保持する2Dフロー設計の恩恵を受ける。
• アブレーション研究により、3x3と1x1カーネルを交互に用いると大きなバックボーンで性能向上とパラメータ削減が見られ、小さなバックボーンでは3x3のみが有利となる。
• 定性的な結果は、正確な局在化と非整列/乱れたデータ状況下での頑健な性能を示す。