[論文レビュー] Improving unsupervised anomaly localization by applying multi-scale memories to autoencoders

Yifei Yang, Shibing Xiang+1 more|arXiv (Cornell University)|Dec 21, 2020

Anomaly Detection Techniques and Applications参考文献 29被引用数 4

ひとこと要約

本稿では、スケール固有のメモリモジュールとマルチスケールアテンションファーザを導入することで、複数の解像度にわたる特徴表現を向上させることで、自己教師付き異常局所化を強化するマルチスケールメモリオートエンコーダー（MMAE）を提案する。各スケールの符号化特徴を、専用のメモリから得た最も関連性の高いプロトタイプ特徴に置き換え、アテンションを用いて統合することで、ベースラインオートエンコーダーおよびMemAEよりも優れた再構成忠実度と異常検出性能を達成し、UCSD-Ped2でAUCが最大0.949まで向上した。

ABSTRACT

Autoencoder and its variants have been widely applicated in anomaly detection.The previous work memory-augmented deep autoencoder proposed memorizing normality to detect anomaly, however it neglects the feature discrepancy between different resolution scales, therefore we introduce multi-scale memories to record scale-specific features and multi-scale attention fuser between the encoding and decoding module of the autoencoder for anomaly detection, namely MMAE.MMAE updates slots at corresponding resolution scale as prototype features during unsupervised learning. For anomaly detection, we accomplish anomaly removal by replacing the original encoded image features at each scale with most relevant prototype features,and fuse these features before feeding to the decoding module to reconstruct image. Experimental results on various datasets testify that our MMAE successfully removes anomalies at different scales and performs favorably on several datasets compared to similar reconstruction-based methods.

研究の動機と目的

• 自己教師付き異常検出において、異なる解像度スケール間の特徴差の問題を解決すること。
• 専用のメモリモジュールを用いて、スケール固有の正常パターンを保持することで、正常領域の再構成忠実度を向上させること。
• アテンション機構を用いてマルチスケールの異常なし特徴を統合することで、異常局所化の精度を向上させること。
• モデルの複雑さを増加させずに表現能力を強化しつつ、オートエンコーダーのエンドツーエンド学習パラダイムを維持すること。

提案手法

• 自己教師付き事前学習中に、特定の解像度スケールに対応するプロトタイプ特徴を格納する複数のメモリモジュールを導入する。
• 各スケールから最も関連性の高いプロトタイプ特徴を動的に重み付け・統合するマルチスケールアテンションファーザを用いる。
• 推論時、各スケールの元の符号化特徴を、対応するスケール固有メモリから類似度が最も高いプロトタイプ特徴に置き換える。
• 時間的・空間的整合性を保つために、動画データに対して3次元畳み込みエンコーダ-デコーダアーキテクチャを採用する。
• さまざまな誤検出率に対応するため、閾値に依存しない画素単位のオーバーラップ（PRO）指標を用いて異常セグメンテーション性能を評価する。
• バックプロパゲーション中に微分可能アドレス指定を用いてメモリの更新を実行しながら、再構成損失を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 スケール固有のメモリモジュールは、オートエンコーダーに基づく異常検出において、複数の解像度にわたる正常パターンの表現を向上させることができるか？
• RQ2 アテンション機構を用いてマルチスケールのメモリ由来特徴を統合することで、正常領域の再構成が改善され、異常局所化性能が向上するか？
• RQ3 提案手法MMAEは、多様なデータセットにおけるMemAEおよび他の最先端の再構成ベース手法と比較して、異常検出性能でどのように差をつけるか？
• RQ4 マルチスケールメモリの使用は、メモリ拡張オートエンコーダーにおける線形部分空間制約によって引き起こされる表現能力の低下をどの程度緩和できるか？

主な発見

• UCSD-Ped2動画データセットにおいて、MMAEはAUC 0.949を達成し、MemAE（0.941）および他の最先端手法を上回った。
• CUHK Avenueデータセットでは、MMAEがAUC 0.846を達成し、MemAE（0.833）および他の再構成ベースのベースラインを上回った。
• ShanghaiTechデータセットでは、MMAEがAUC 0.731を達成し、MemAE（0.712）および他の手法と比較して一貫した改善を示した。
• テスト画像に異常が存在する場合の再構成品質の向上が確認されたことから、MMAEは複数のスケールで異常を効果的に除去できた。
• マルチスケールメモリの使用により、より大規模で表現力に富んだ異常なし潜在空間が実現され、再構成忠実度と異常再構成の不成立という仮定の両方を満たした。
• アテンションベースの統合機構により、スケール固有のクリアな特徴が効果的に統合され、正常画像領域のより正確で頑健な再構成が実現された。