[論文レビュー] HaloAE: An HaloNet based Local Transformer Auto-Encoder for Anomaly Detection and Localization

Émilie Mathian, Hengming Liu+4 more|arXiv (Cornell University)|Aug 6, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

HaloAEは、HaloNetのブロック単位自己注意機構を用いた新しい局所的Transformer自己符号化器を提案し、教師なし異常検出と局所化を統合的に実行する。局所的自己注意と畳み込み特徴抽出、自己教師学習を組み合わせることで、MVTecベンチマークにおいて最先端の性能を達成し、画像レベル平均で91.4%、ピクセル単位平均で91.2%のROC-AUCスコアを達成した。

ABSTRACT

Unsupervised anomaly detection and localization is a crucial task as it is impossible to collect and label all possible anomalies. Many studies have emphasized the importance of integrating local and global information to achieve accurate segmentation of anomalies. To this end, there has been a growing interest in Transformer, which allows modeling long-range content interactions. However, global interactions through self attention are generally too expensive for most image scales. In this study, we introduce HaloAE, the first auto-encoder based on a local 2D version of Transformer with HaloNet. With HaloAE, we have created a hybrid model that combines convolution and local 2D block-wise self-attention layers and jointly performs anomaly detection and segmentation through a single model. We achieved competitive results on the MVTec dataset, suggesting that vision models incorporating Transformer could benefit from a local computation of the self-attention operation, and pave the way for other applications.

研究の動機と目的

• 教師なし異常検出と局所化の課題に取り組むこと。特に、ラベル付き異常データが乏しい産業用・医療画像分野を想定する。
• 標準的な自己符号化器が正常な領域はよく一般化・再構成するが、異常領域の再構成が不十分になるという限界を克服すること。
• 畳み込み特徴抽出とブロック単位自己注意を組み合わせることで、局所的およびグローバルなコンテキストを統合し、再構成の正確性と異常局所化の精度を向上させること。
• パッチベースの推論を必要としない統一モデルを構築し、異常検出とピクセル単位のセグメンテーションを同時に実行すること。
• Cut&Pasteを用いた人工欠損補強を活用する自己教師学習戦略により、一般化性能とロバストネスを向上させること。

提案手法

• HaloNetに基づく局所的2次元自己注意モジュールを用いた、事前学習済みCNN特徴抽出器と組み合わせたハイブリッドアーキテクチャ「HaloAE」を提案する。
• 階層的で意味的豊かな表現を捉えるために、先行研究にインspiredしたマルチスケール特徴マップ生成戦略を採用する。
• 欠損を模擬し正則化するため、Cut&Paste増強法を用いた自己教師学習の代理タスクを統合する。
• 分類損失（増強画像上で）、特徴マップ再構成損失、画像再構成損失を組み合わせたマルチタスク損失関数を設計し、適応的重み付けを実装する。
• グローバルなViTスタイルの自己注意と比較して計算コストを低減するため、局所的自己注意機構を用いて画像ブロック内およびブロック間の注意を計算する。
• 最終出力を、ピクセル単位の再構成誤差に基づく異常検出とセグメンテーションに使用する。L2損失とSSIM損失の組み合わせを用いて、エンド・トゥ・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 HaloNetに基づく局所的自己注意機構は、標準的な畳み込み自己符号化器と比較して、異常検出および局所化性能を向上させることができるか？
• RQ2 人工欠損補強による自己教師学習を統合することで、自己符号化器の一般化性能とロバストネスが向上するか？
• RQ3 パッチベースの推論を必要としない1つの統一モデルが、画像レベルの異常検出とピクセル単位の局所化を効果的に実行できるか？
• RQ4 分類、特徴マップ、画像再構成という複数の目的における適応的損失重み付けが、モデル性能にどのように影響するか？
• RQ5 局所的自己注意によるピクセル内相関のモデル化は、再構成品質と異常局所化の正確性をどの程度向上させるか？

主な発見

• HaloAEはMVTecデータセットで画像レベル平均ROC-AUCが91.4%、ピクセル単位平均ROC-AUCが91.2%を達成し、競争力のある性能を示した。
• 標準的な畳み込み自己符号化器（例：AE-L2：画像レベルAUC 70.0%）や、単純なHaloNetベースの自己符号化器（75.6%画像レベルAUC）を上回り、アーキテクチャ統合の有効性を示した。
• 同じアーキテクチャ内でHaloNetブロックを畳み込み自己符号化器に置き換えることで、画像レベルAUCが6.4ポイント向上（83.1から89.5に）し、局所的自己注意の利点を裏付けた。
• 適応的損失重み付け方式（例：不確実性重み付け）により、テキストクラスで画像レベルAUCが97.2%に達し、効果的なマルチタスク学習が実現した。
• Cut&Pasteを用いた自己教師学習の活用により、検出およびセグメンテーション両タスクでスコアが向上し、一般化性能の向上が裏付けられた。
• アブレーションスタディにより、特徴抽出器、局所的自己注意、SSL、マルチ損失を含む完全なHaloAEモデルが、全指標で最高のスコアを達成し、最良の性能を示した。