[論文レビュー] Re Learning Memory Guided Normality for Anomaly Detection

Kevin Stephen, Varun G. Menon|arXiv (Cornell University)|Jan 29, 2021

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）の表現容量を低減するため、代表的な正常パターンを学習する再学習メモリモジュールを活用する、新しい教師なし異常検出手法を提案する。分離性と凝集性の損失関数を最適化することで、メモリアイテムの識別性が向上し、複数のベンチマークで最先端の性能を達成した。t-SNE可視化と定量的結果により検証された。

ABSTRACT

The authors have introduced a novel method for unsupervised anomaly detection that utilises a newly introduced Memory Module in their paper. We validate the authors claim that this helps improve performance by helping the network learn prototypical patterns, and uses the learnt memory to reduce the representation capacity of Convolutional Neural Networks. Further, we validate the efficacy of two losses introduced by the authors, Separateness Loss and Compactness Loss presented to increase the discriminative power of the memory items and the deeply learned features. We test the efficacy with the help of t-SNE plots of the memory items.

研究の動機と目的

• 正常パターンの強固でコンパクトな表現を学習することで、教師なし異常検出を改善すること。
• 代表的な正常特徴を捉えるメモリモジュールを用いて、CNNの表現容量を低減すること。
• 分離性損失と凝集性損失という2つの新規損失関数を用いて、メモリアイテムの識別力を向上させること。
• 可視化とベンチマーク評価を通じて、メモリモジュールおよび損失関数の有効性を検証すること。
• 標準データセットにおける異常検出で、新たな最先端の性能を確立すること。

提案手法

• 訓練中に代表的な正常特徴を保存・更新する再学習メモリモジュールを導入する。
• エンコーダーから最も代表的な特徴を抽出するためのメモリバンクを用い、モデル容量を低減する。
• 特徴空間におけるメモリアイテムを分離させるために、分離性損失を適用する。これにより、明確な特徴の違いが得られる。
• 同じクラスの特徴をその対応するメモリプロトタイプに近づけるために、凝集性損失を適用する。これにより、クラスタリングの質が向上する。
• 両方の損失関数を用いて、メモリ表現と特徴学習を同時に最適化するエンドツーエンドの訓練を実施する。
• t-SNE可視化を用いて、メモリアイテムの分離性と凝集性の向上を定性的に検証する。

実験結果

リサーチクエスチョン

• RQ1 メモリモジュールは、教師なし設定において、代表的な正常パターンを効果的に学習・表現できるか？
• RQ2 分離性損失と凝集性損失の組み合わせは、メモリアイテムの識別的質を向上させるか？
• RQ3 提案手法は、標準的な異常検出ベンチマークで最先端の性能を達成できるか？
• RQ4 メモリガイドド表現は、CNNの有効な表現容量をどの程度低減させるか？
• RQ5 t-SNE可視化は、正常サンプルのクラスタリングの改善をどの程度確認できるか？

主な発見

• 提案手法は、教師なし異常検出の複数のベンチマークデータセットで、最先端の性能を達成した。
• 分離性損失と凝集性損失は、t-SNEプロットによる確認も含め、メモリアイテムの識別的質を顕著に向上させた。
• メモリモジュールは、重要な正常パターンの情報を保持しつつ、CNNの表現容量を効果的に低減した。
• t-SNE可視化では、メモリプロトタイプの明確な分離と、正常サンプルの改善されたクラスタリングが確認された。
• 標準ベンチマークにおいて、既存の教師なし手法を上回り、優れた一般化性能とロバストネスを示した。
• アブレーションスタディの結果、両方の損失関数が性能向上に有意に寄与しており、併用した損失が最も優れた結果をもたらした。