[論文レビュー] Siamese Transition Masked Autoencoders as Uniform Unsupervised Visual Anomaly Detector

Haiming Yao, Xue Wang+1 more|arXiv (Cornell University)|Nov 1, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本稿では、分離された特徴パッチ上で双子エンコーダーを用いて深層特徴の遷移を活用することで、強固な正常パターンを学習する統合的で自己教師ありの視覚的異常検出フレームワークである、Siamese Transition Masked Autoencoders (ST-MAE) を提案する。この手法は、高い推論効率と強力な汎化性能を備え、特に少サンプル設定で顕著な性能を発揮し、複数のベンチマークで最先端の性能を達成している。

ABSTRACT

Unsupervised visual anomaly detection conveys practical significance in many scenarios and is a challenging task due to the unbounded definition of anomalies. Moreover, most previous methods are application-specific, and establishing a unified model for anomalies across application scenarios remains unsolved. This paper proposes a novel hybrid framework termed Siamese Transition Masked Autoencoders(ST-MAE) to handle various visual anomaly detection tasks uniformly via deep feature transition. Concretely, the proposed method first extracts hierarchical semantics features from a pre-trained deep convolutional neural network and then develops a feature decoupling strategy to split the deep features into two disjoint feature patch subsets. Leveraging the decoupled features, the ST-MAE is developed with the Siamese encoders that operate on each subset of feature patches and perform the latent representations transition of two subsets, along with a lightweight decoder that reconstructs the original feature from the transitioned latent representation. Finally, the anomalous attributes can be detected using the semantic deep feature residual. Our deep feature transition scheme yields a nontrivial and semantic self-supervisory task to extract prototypical normal patterns, which allows for learning uniform models that generalize well for different visual anomaly detection tasks. The extensive experiments conducted demonstrate that the proposed ST-MAE method can advance state-of-the-art performance on multiple benchmarks across application scenarios with a superior inference efficiency, which exhibits great potential to be the uniform model for unsupervised visual anomaly detection.

研究の動機と目的

• 1つの統合モデルで多様な応用シナリオにわたる自己教師あり視覚的異常検出（VAD）の課題に対処すること。
• 既存手法がアプリケーション特化的であるか、異常タイプにわたる汎化に失敗するという限界を克服すること。
• 深層特徴の遷移を通じた意味的自己教師信号の導入により、検出精度と耐障害性を向上させること。
• 特徴の分離と遷移から得られる多数の暗黙の事前学習タスクを活用することで、低データ環境下でも効果的な性能を実現すること。
• 1つのアーキテクチャで画像レベルおよびピクセルレベルの異常局所化を実現し、別々のモデルを必要としないこと。

提案手法

• 入力画像から階層的意味的特徴を抽出するために、事前学習済みの深層畳み込みニューラルネットワーク（DCNN）を用いる。
• 深層特徴マップを2つの不重複で補完的なパッチサブセットに分割する特徴分離戦略を適用する。
• それぞれのサブセットを独立して処理するため、双子エンコーダーを用いて可視パッチからの潜在表現を学習する。
• 2つの符号化済み特徴サブセット間でシーケンスの位置を入れ替えることで、深層特徴遷移機構を導入し、自己教師信号を生成する。
• 遷移した潜在表現に軽量なデコーダーを適用して、元の特徴マップを再構築する。
• 元の特徴と再構築された特徴の間の意味的深層特徴残差として、異常スコアマップを計算する。

実験結果

リサーチクエスチョン

• RQ1 統合的深層学習フレームワークは、タスク特化の調整なしに、検査と局所化の両方を含む多様な視覚的異常検出タスクを効果的に処理できるか？
• RQ2 提案された深層特徴遷移機構は、標準的なオートエンコーダーと比較して、正常パターンと異常パターンを区別する能力をどのように向上させるか？
• RQ3 ST-MAE モデルは、グローバルな意味的シフトやローカルな構造的劣化を含む、さまざまな異常タイプにどの程度汎化するか？
• RQ4 少数の正常サンプルしか利用できない少サンプル学習条件下で、モデルはどの程度の性能を示すか？
• RQ5 深層特徴遷移機構は、オートエンコーダーに一般的に見られるアイデンティティマッピング問題を緩和し、再構築の識別能を向上させるか？

主な発見

• ST-MAE は、多様な応用シナリオにわたる複数の VAD ベンチマークで最先端の性能を達成し、優れた汎化性能を示している。
• 16ショット設定下で MVTec AD データセットにおいて、平均ピクセルレベル AUC ROC が 86.6% を達成し、SPADE や PaDim などの既存の少サンプル手法を上回っている。
• アブレーションスタディの結果、深層特徴遷移機構がアイデンティティマッピングを抑制し、特徴の識別能を向上させるために不可欠であることが確認された。
• 可視化結果から、ST-MAE は異常を正常パターンとして再構築していることが示され、代表的な正常特徴の有効な学習が行われていることが示唆された。
• 軽量なデコーダーと特徴レベルの再構築により、高い推論効率を実現しており、リアルタイムデプロイメントに適している。
• 特徴の分離と遷移によって生成される暗黙の事前学習タスク数（$C_{N^2}^{N^2/2}$）は、低データ環境下での耐障害性を顕著に向上させている。