[論文レビュー] MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection

Haoyang He, Yuhu Bai+8 more|arXiv (Cornell University)|Apr 9, 2024

Anomaly Detection Techniques and Applications被引用数 14

ひとこと要約

MambaADを導入し、事前学習済みエンコーダとMambaベースのデコーダを用い、Locality-Enhanced State Space (LSS) モジュールとHybrid State Space (HSS) ブロックを組み合わせて、グローバル情報とローカル情報を直線的計算量で同時にモデリングする多クラスの教師なし異常検知手法。

ABSTRACT

Recent advancements in anomaly detection have seen the efficacy of CNN- and transformer-based approaches. However, CNNs struggle with long-range dependencies, while transformers are burdened by quadratic computational complexity. Mamba-based models, with their superior long-range modeling and linear efficiency, have garnered substantial attention. This study pioneers the application of Mamba to multi-class unsupervised anomaly detection, presenting MambaAD, which consists of a pre-trained encoder and a Mamba decoder featuring (Locality-Enhanced State Space) LSS modules at multi-scales. The proposed LSS module, integrating parallel cascaded (Hybrid State Space) HSS blocks and multi-kernel convolutions operations, effectively captures both long-range and local information. The HSS block, utilizing (Hybrid Scanning) HS encoders, encodes feature maps into five scanning methods and eight directions, thereby strengthening global connections through the (State Space Model) SSM. The use of Hilbert scanning and eight directions significantly improves feature sequence modeling. Comprehensive experiments on six diverse anomaly detection datasets and seven metrics demonstrate state-of-the-art performance, substantiating the method's effectiveness. The code and models are available at https://lewandofskee.github.io/projects/MambaAD.

研究の動機と目的

• 産業画像における効率的な多クラス教師なし異常検知の必要性に対応する。
• 長距離依存性をモデル化しつつ局所的なディテールを保持するためにMambaの線形計算量を活用する。
• マルチスケールの特徴再構成のためにLocality-Enhanced State Space (LSS) モジュールとHybrid State Space (HSS) ブロックを設計する。
• パラメータ数と計算量を抑えつつ、複数の異常検知データセットで最先端の性能を達成する。

提案手法

• 事前学習済みのCNNベースのエンコーダを用いてマルチスケール特徴を抽出する。
• マルバベースのデコーダを導入し、再構成のために複数のスケールでLSSモジュールを配置する。
• LSSでは、連結されたHSSブロックからのグローバル情報と並列のマルチカーネル深さ方向畳み込みによるローカル情報を統合する。
• Hybrid Scanning (HS)を、SSMsを介したグローバルモデリングを強化するために、五つの走査方法と八方向で適用する。
• 状態空間ダイナミクスを離散化して、再構成ベースの異常スコアリングのための構造化畳み込みカーネルを生成する。
• マルチスケールのMSE損失で訓練し、マルチスケールのコサイン類似度ベースの異常マップで推論する。

実験結果

リサーチクエスチョン

• RQ1 Mambaベースの状態空間モデルは、MUADにおいてトランスフォーマー系やCNN系と比較して競争力のあるまたは優れた性能を提供できるか？
• RQ2 Locality-Enhanced State Spaceモジュールは、複数スケールでグローバル依存性とローカルディテールを効果的に組み合わせ、堅牢な異常検知を実現するか？
• RQ3 走査戦略（Hilbertと方向）の影響が、状態空間ベースの異常検出の性能にどう影響するか？

主な発見

• MambaADは、画像レベルおよびピクセルレベルのタスクで、6つの異常検知データセット・7つの指標で最先端の性能を達成。
• パラメータ数が少なくFLOPsも低い高い効率を達成し、mADでDiADやUniADを含むいくつかのベースラインを上回る。
• Hilbert走査方向と8方向の設定は、堅牢なグローバルモデリングと改良された異常セグメンテーションを提供する。
• アブレーション研究は、より深いMambaデコーダ構成とより大きい深さ方向カーネルの導入が性能を向上させることを示す。
• MambaADはReal-IADおよびVisAデータセットで強力な多クラススケーラビリティと有効性を示し、いくつかのベースラインに対して大幅な改善を示す。