[論文レビュー] Memory Augmented Generative Adversarial Networks for Anomaly Detection

Ziyi Yang, Teng Zhang+2 more|arXiv (Cornell University)|Feb 7, 2020

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、外部メモリモジュールを用いてGANベースの再構成と検出を強化する、異常検出のための新規フレームワークであるメモリ拡張型生成対抗ネットワーク（MEMGAN）を提案する。正規データの符号化表現がメモリユニットの凸包内に収まるように制約を課す（メモリプロジェクション損失と相互情報量正則化を用いて）ことにより、MEMGANは優れた異常検出性能を達成し、分離可能で解釈可能なメモリユニットを実現し、MNISTおよびCIFAR-10データセットで最先端の結果を達成する。

ABSTRACT

In this paper, we present a memory-augmented algorithm for anomaly detection. Classical anomaly detection algorithms focus on learning to model and generate normal data, but typically guarantees for detecting anomalous data are weak. The proposed Memory Augmented Generative Adversarial Networks (MEMGAN) interacts with a memory module for both the encoding and generation processes. Our algorithm is such that most of the extit{encoded} normal data are inside the convex hull of the memory units, while the abnormal data are isolated outside. Such a remarkable property leads to good (resp.\ poor) reconstruction for normal (resp.\ abnormal) data and therefore provides a strong guarantee for anomaly detection. Decoded memory units in MEMGAN are more interpretable and disentangled than previous methods, which further demonstrates the effectiveness of the memory mechanism. Experimental results on twenty anomaly detection datasets of CIFAR-10 and MNIST show that MEMGAN demonstrates significant improvements over previous anomaly detection methods.

研究の動機と目的

• 既存の深層生成モデルにおける異常検出の理論的・実験的保証の弱さに取り組むこと。これらはしばしば異常分離のための明示的設計がない再構成ヒューリスティクスに依存している。
• 正規データを含む凸包の境界を形成するように構造化されたメモリユニットにより、メモリ拡張型モデルにおけるメモリユニットの解釈可能性と分離性を向上させること。
• 正規データがメモリユニットの凸包内に閉じ込められ、異常データがその外側に位置するという理論的根拠に基づくメカニズムを提供すること。
• MEMGANがDSVDD、ADGAN、MEMAEといった最先端手法を上回ることを、多様なベンチマークデータセット上で実証的に検証すること。
• MEMGANがメモリユニット数などのハイパーパrameterの変動に対してどれほど頑健で、性能にどれほど感度を示すかを保証し、実用的導入可能性を確保すること。

提案手法

• MEMGANは、生成器$G$、エンコーダ$E$、および識別器$D_{{\bm{x}}{\bm{z}}}$を備えた双方向GANアーキテクチャを採用し、正規データの特徴を格納する外部メモリモジュールを拡張して用いる。
• モデルは、符号化された正規データがメモリユニットの凸包内に位置するように保証するメモリプロジェクション損失を導入する一方で、メモリユニット自体をこの凸包の境界に押し出す。
• メモリユニットと符号化データ間の相互情報量を最大化することで、メモリ表現の分離性と解釈可能性を促進するため、相互情報量損失を組み込む。
• メモリモジュールは微分可能アテンション機構を介して更新され、エンドツーエンド学習中に勾配伝搬が可能になる。
• 推論時、デコーダはメモリユニットの重み付き組み合わせを用いてデータを再構成し、異常スコアは再構成誤差から導出される。
• 理論的分析により、適切なハイパーパrameter設定下では、最適なメモリユニットが符号化された正規データのサポートを囲む凸多面体の頂点を形成することが示された。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型GANは、標準的なオートエナボーラーやGANベース手法と比較して、異常検出におけるより強い理論的保証を提供するようにどのように設計できるか？
• RQ2 メモリ拡張型GANにおける符号化された正規データとメモリユニットの幾何的関係は何か？ そして、その関係は学習中にどのように強制できるか？
• RQ3 メモリプロジェクション損失は、先行するメモリ拡張型モデルと比較して、メモリユニットの分離性と解釈可能性をどの程度向上させるか？
• RQ4 MEMGANの性能は、MNISTやCIFAR-10といった多様なデータセットにおいて、DSVDD や ADGAN といった最先端手法と比較してどの程度優れているか？
• RQ5 MEMGANはメモリユニット数の変化に対して頑健であるか？ また、ハイパーパrameterの選択にどれほど感度を示すか？

主な発見

• MEMGANは、10個のMNIST数字クラスのうち7つで最高の平均AUROCを達成し、全10クラスの平均AUROCでもMEMAE や DSVDD を大きく上回った。
• CIFAR-10では、DSVDDと同等の性能を発揮し、ADGAN や ALAD より優れた性能を示した。特に10クラス中3クラスで最高の性能を記録し、平均AUROCでも最良を記録した。
• アブレーションスタディにより、メモリプロジェクション損失が極めて重要であることが確認された。この損失がなければ、メモリユニットは密集領域に集まり、適切な凸包を形成できず、検出性能が低下する。
• MEMGANはメモリユニット数に対して頑健であり、MNISTでは25～200ユニットの範囲でAUROCが安定したまま維持され、このハイパーパラメータに対して感受性が低いことが示された。
• 再構成されたメモリユニットの可視化により、従来のメモリ拡張型モデルと比較して顕著に高い品質と分離性を持つ特徴が得られた。これは解釈可能性の主張を裏付けるものである。
• 理論的分析により、符号化された正規データのサポートが凸多面体を形成し、最適なメモリユニットがその頂点を形成することが確認された。これにより、強力な異常検出保証の幾何的基盤が得られた。