[論文レビュー] MLF-SC: Incorporating multi-layer features to sparse coding for anomaly detection

Ryuji Imamura, Kohei Azuma+2 more|arXiv (Cornell University)|Apr 9, 2021

Anomaly Detection Techniques and Applications参考文献 14被引用数 5

ひとこと要約

本稿では、事前学習されたVGG16ネットワークからのマルチレイヤー特徴を組み込むことでスパースコーディングを向上させる、MLF-SCと呼ばれる新しい異常検出手法を提案する。生画像の代わりに中間特徴マップにスパースコーディングを適用することにより、MLF-SCは複数スケールで異常を効果的に捉えることができ、MVTec ADテクスチャデータセットにおいて平均AUROC 0.97を達成し、従来のスパースコーディングおよび他のディープラーニングベースの手法を著しく上回る最先端の性能を発揮した。

ABSTRACT

Anomalies in images occur in various scales from a small hole on a carpet to a large stain. However, anomaly detection based on sparse coding, one of the widely used anomaly detection methods, has an issue in dealing with anomalies that are out of the patch size employed to sparsely represent images. A large anomaly can be considered normal if seen in a small scale, but it is not easy to determine a single scale (patch size) that works well for all images. Then, we propose to incorporate multi-scale features to sparse coding and improve the performance of anomaly detection. The proposed method, multi-layer feature sparse coding (MLF-SC), employs a neural network for feature extraction, and feature maps from intermediate layers of the network are given to sparse coding, whereas the standard sparse-coding-based anomaly detection method directly works on given images. We show that MLF-SC outperforms state-of-the-art anomaly detection methods including those employing deep learning. Our target data are the texture categories of the MVTec Anomaly Detection (MVTec AD) dataset, which is a modern benchmark dataset consisting of images from the real world. Our idea can be a simple and practical option to deal with practical data.

研究の動機と目的

• 固定されたパッチサイズのため、スパースコーディングが大規模な異常を検出できないという制限を解消すること。
• 実世界の画像における多様なテクスチャタイプにわたる異常検出のロバスト性を向上させること。
• 深層ニューラルネットワークの階層的特徴を活用して、より優れた異常表現を得ること。
• 古典的スパースコーディングと現代のディープラーニングベースの異常検出モデルを凌駕する実用的で生成的でない手法を開発すること。
• スパースコーディングにおけるマルチスケール特徴表現の有効性を実証すること。

提案手法

• 事前学習済みのVGG16ネットワークを用いて、中間層からのマルチスケール特徴を抽出する。
• 生画像に対してではなく、VGG16の複数のレイヤーからの特徴マップに対してスパースコーディングを適用する。
• 各テクスチャカテゴリの正常画像に限定して辞書を学習し、特徴パッチを再構築する。
• 各特徴パッチの再構築誤差を計算し、上位5つの最大誤差を合算して異常スコアを形成する。
• 異常スコアをしきい値処理して、画像を正常または異常と分類する。高誤差領域に注目することで、小さな異常や大きな異常を検出する。
• 最適化にはLasso-LARSを用い、スパarsity誘導パrameter α = 1 を設定し、特徴マップのパッチサイズは8×8、ストライドは2とする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのマルチレイヤー特徴が、スパースコーディングにおけるさまざまなスケールの異常検出を改善できるか？
• RQ2 中間特徴マップにスパースコーディングを適用することで、生画像パッチを用いる場合よりも優れた異常検出性能が得られるか？
• RQ3 自己符号化器、AnoGAN、CNN特徴辞書といった最先端の手法と比較して、MLF-SCは実世界のテクスチャデータに対してどのように性能を発揮するか？
• RQ4 生成的でないスパースコーディングベースの手法が、MVTec ADベンチマークで最先端の性能を達成できるか？
• RQ5 本手法は、異常特性が異なる多様なテクスチャカテゴリにわたってロバストであるか？

主な発見

• MLF-SCは、MVTec ADデータセットの全5つのテクスチャカテゴリにおいて、平均AUROC 0.97を達成し、比較対象のすべての手法を上回った。
• カーペットカテゴリでは、MLF-SCがAUROC 0.99を達成したのに対し、標準的なスパースコーディングは0.58にとどまった。
• レザーカテゴリでは、MLF-SCがAUROC 0.99を記録し、CNN特徴辞書（0.95 AUROC）およびAnoGAN（0.12 AUROC）を著しく上回った。
• 再構築誤差ヒストограмの結果から、深層特徴が正常分布から明確に分離しており、標準的スパースコーディングが見逃した大規模な異常を効果的に検出できた。
• MLF-SCは全5つのテクスチャカテゴリで一貫した性能を示し、各カテゴリのAUROCが0.92以上を維持しており、強いロバスト性を示した。
• 上位5つの最大再構築誤差の使用により、高誤差領域に注目することで、正常領域による抑制を回避し、小さな異常の検出性能が向上した。