[論文レビュー] Anomaly localization by modeling perceptual features

David Dehaene, Pierre Eline|arXiv (Cornell University)|Aug 12, 2020

Anomaly Detection Techniques and Applications参考文献 24被引用数 28

ひとこと要約

本稿では、事前学習されたVGG16ネットワークから抽出した高レベルの特徴空間とピクセル空間の両方で同時に画像を再構築することにより、異常検出および局所化を向上させる特徴拡張変分オートエンコーダー（FAVAE）を提案する。ImageNetで事前学習された高レベル特徴をモデル化することで、FAVAEはMVTec ADデータセットにおいて、従来のVAEや先行手法を大きく上回る最先端の性能を達成した。

ABSTRACT

Although unsupervised generative modeling of an image dataset using a Variational AutoEncoder (VAE) has been used to detect anomalous images, or anomalous regions in images, recent works have shown that this method often identifies images or regions that do not concur with human perception, even questioning the usability of generative models for robust anomaly detection. Here, we argue that those issues can emerge from having a simplistic model of the anomaly distribution and we propose a new VAE-based model expressing a more complex anomaly model that is also closer to human perception. This Feature-Augmented VAE is trained by not only reconstructing the input image in pixel space, but also in several different feature spaces, which are computed by a convolutional neural network trained beforehand on a large image dataset. It achieves clear improvement over state-of-the-art methods on the MVTec anomaly detection and localization datasets.

研究の動機と目的

• 人間の知覚と一致する異常を検出できるように、標準VAEが稀なまたは構造的に複雑な異常に対して限界を示す問題に対処すること。
• 標準VAEが異常サンプルに対して通常のサンプルよりも高い尤度を割り当てるという、人間の判断と矛盾する問題を克服すること。
• ピクセル再構築に加えて、事前学習ネットワークからのマルチスケールで高レベルの特徴を組み込むことで、異常の局所化を改善すること。
• ピクセルレベルの再構築を超えて、ImageNetで学習されたモデルからの知覚的に意味のある特徴が、頑健な異常モデル化に不可欠であることを示すこと。
• 人間の知覚をよりよく反映するように、ピクセルと知覚的特徴の両方の分布をモデル化するフレームワークを確立すること。

提案手法

• 入力画像をピクセル空間だけでなく、事前学習済みVGG16ネットワークから抽出した複数の中間特徴空間でも再構築するように変分オートエンコーダー（VAE）を訓練する。
• VGG16の2番目、3番目、4番目のマックスプーリング層（活性化関数の前）の特徴マップを、知覚的特徴の再構築ターゲットとして使用する。
• ピクセル空間と知覚的特徴空間の両方における再構築損失を、L2損失の重み付き和を用いて同時に最適化する。
• 訓練中に特徴抽出器に対して勾配ストッピングを適用し、微調整されないよう保つことで、事前学習済みの知覚的に意味のある特徴を維持する。
• 両空間における再構築サンプルの対数尤度を異常スコアとして使用し、高いスコアは正常性を示す。
• 可視化の前に異常マップにヒストグラム等化を適用し、一貫性のある質的比較のため、ジェットカラーマップを用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みネットワークからの知覚的特徴をモデル化することで、VAEにおけるピクセルレベルの再構築を超えた異常検出および局所化の向上が可能か？
• RQ2 ImageNetで学習されたモデルからの高レベルで転送可能な特徴を用いることで、異常検出における人間の知覚とより整合性が高まるか？
• RQ3 特徴抽出器の異なる設定（例：ランダム重み、微調整あり、固定）が、異常局所化性能に与える影響は何か？
• RQ4 性能向上はマルチスケール特徴表現のおかげか、それとも事前学習による知覚的に意味のある特徴のおかげか？
• RQ5 ピクセルと深層特徴の両方を再構築する統合型モデルが、MVTec ADのようなベンチマークデータセットで、既存のSOTA手法を上回る性能を発揮できるか？

主な発見

• VGG16特徴を用いたFAVAEは、MVTec ADデータセットのすべてのサブセットで最先端の性能を達成し、従来のVAEおよび先行SOTA手法を上回った。
• 事前学習済みVGG16特徴抽出器を搭載したモデル（M 3b）が、検出（AUROC）および局所化（ピクセルAUROC）の両面で最高の結果を達成し、知覚的に意味のある特徴の重要性を裏付けた。
• ランダム初期化されたVGG16重み（M 3b）やエンコーダーから自己符号化された特徴（M 3b）を用いることで、従来のVAEよりも局所化性能が向上した。これは、事前学習がなくてもマルチスケール特徴が有効であることを示している。
• 特徴抽出器を微調整を許可した場合（M 3bおよびM 3b）、性能が著しく低下した。これは、変更のない事前学習済み特徴が、頑健性にとって不可欠であることを示している。
• アブレーションスタディにより、ImageNet事前学習からの知覚的特徴が不可欠であることが確認された。ランダムまたは学習可能な特徴を用いたモデルは、固定された事前学習済み特徴を用いたモデルより性能が劣った。
• FAVAEはハイパーパramータチューニングなしで優れた結果を達成した。これは、産業用検査における多様な異常タイプにわたる頑健性と一般化能力を示している。