[論文レビュー] Self-Supervised Training with Autoencoders for Visual Anomaly Detection

Alexander Bauer, Nakajima, Shinichi+1 more|arXiv (Cornell University)|Jun 23, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、神経画像補完にインspiredされた2つの目的関数を用いて、汚染された入力を用いて訓練することで、再構成に基づく異常スコアリングを向上させる自己教師付きオートエンコーダフレームワークを提案する。この手法は、MVTec ADデータセットにおいて、特にテクスチャカテゴリで最先端の性能を達成し、局所的な一貫性を通じて異常をフィルタリングしながら正常パターンを再構成することで、1回の順伝播で高精度な検出と局所化を実現する。

ABSTRACT

We focus on a specific use case in anomaly detection where the distribution of normal samples is supported by a lower-dimensional manifold. Here, regularized autoencoders provide a popular approach by learning the identity mapping on the set of normal examples, while trying to prevent good reconstruction on points outside of the manifold. Typically, this goal is implemented by controlling the capacity of the model, either directly by reducing the size of the bottleneck layer or implicitly by imposing some sparsity (or contraction) constraints on parts of the corresponding network. However, neither of these techniques does explicitly penalize the reconstruction of anomalous signals often resulting in poor detection. We tackle this problem by adapting a self-supervised learning regime that exploits discriminative information during training but focuses on the submanifold of normal examples. Informally, our training objective regularizes the model to produce locally consistent reconstructions, while replacing irregularities by acting as a filter that removes anomalous patterns. To support this intuition, we perform a rigorous formal analysis of the proposed method and provide a number of interesting insights. In particular, we show that the resulting model resembles a non-linear orthogonal projection of partially corrupted images onto the submanifold of uncorrupted samples. On the other hand, we identify the orthogonal projection as an optimal solution for a number of regularized autoencoders including the contractive and denoising variants. We support our theoretical analysis by empirical evaluation of the resulting detection and localization performance of the proposed method. In particular, we achieve a new state-of-the-art result on the MVTec AD dataset -- a challenging benchmark for visual anomaly detection in the manufacturing domain.

研究の動機と目的

• 標準的なオートエンコーダが、再構成誤差が類似するため、異常領域と正常領域を区別できないという限界を解消すること。
• 異常アノテーションを必要とせず、自己教師学習の訓練中に識別的な情報を組み込むことで、異常検出と局所化を向上させること。
• データ多様体構造を活用して、異常パターンの再構成を明示的に妨げる訓練方式を設計すること。
• メモリ集約的な機構（例：特徴メモリバンク）を避けることで、1回の順伝播による効率的な推論を可能とすること。
• 特にテクスチャおよびテクスチャに類似したオブジェクトカテゴリで、MVTec ADベンチマークにおいて最先端の性能を示すこと。

提案手法

• 神経画像補完に由来する2つの自己教師学習的目的関数を用いて、部分的に汚染された画像上で深層畳み込みオートエンコーダを訓練する。
• 目的関数 (1) を用いて、局所的に一貫性のある再構成を正則化し、不規則な部分を妥当な正常パターンに置き換えるフィルタとして機能させる。
• 目的関数 (4) を用いて、正常領域の再構成誤差を最小化するとともに、異常領域の再構成誤差を最大化し、セグメンテーションに類似した目的関数を実現する。
• 訓練中にオクルージョンや回転などのデータ拡張を適用して汚染された入力を生成し、多様な異常タイプに対して耐性を高める。
• モデルを、正常例の多様体への非線形直交射影の近似として形式的に分析し、再構成誤差を異常スコアとして正当化する。
• 再構成誤差と異常認識正則化をバランスさせる調整ハイパーパrameter λ を用いて、エンド・トゥ・エンドのバックプロパゲーションで訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己教師学習の訓練により、異常パターンの再構成を明示的に妨げることで、オートエンコーダの異常検出性能が向上するか？
• RQ2 標準的な再構成損失と比較して、補完にインspiredされた目的関数は、データ多様体に近い微細な異常を検出する際にどのように優れるか？
• RQ3 局所的一貫性正則化と異常認識損失を組み合わせることで、特定の汚染パターンに過剰適合することなく、局所化性能が向上するか？
• RQ4 画像の汚染方法の選択が、モデルの汎化性能と過剰適合にどの程度影響を与えるか？
• RQ5 メモリバンクを一切使用しない1回の順伝播による推論が、視覚的異常検出で最先端の性能を達成できるか？

主な発見

• 提案手法は、MVTec ADデータセットにおいて、特にテクスチャサブセットで最先端の性能を達成し、検出および局所化の両タスクで最近の手法を上回っている。
• テクスチャサブセットでは、著しいマージンで既存手法を上回っており、微細で複雑な異常に対する優れた一般化性能を示している。
• 目的関数 (1) で訓練されたモデルは、異常パターンを局所的一致性のある再構成に置き換えるフィルタとして機能し、正常データ多様体に近い位置にある異常を検出可能にする。
• 目的関数 (4) で訓練されたモデルは、異常領域の再構成誤差を拡大することで、より高い局所化精度を達成し、セグメンテーションに類似した性能に近づく。
• 汚染方法やハイパーパrameterのチューニングにやや敏感であるものの、目的関数 (4) は、図11の木材上のグルー滴の例で示されるように、局所化性能に顕著な向上をもたらす。
• 目的関数 (1) と (4) で訓練されたモデルをアンサンブル化することで、さらなる性能向上の可能性が示され、検出と局所化における相補的な強みが裏付けられている。