[論文レビュー] Deep Semi-Supervised Anomaly Detection

Lukas Ruff, Robert A. Vandermeulen+5 more|arXiv (Cornell University)|Jun 6, 2019

Anomaly Detection Techniques and Applications参考文献 77被引用数 31

ひとこと要約

この論文では、正常および異常サンプルの両方のラベル付きデータを活用して検出性能を向上させる、エンドツーエンドの深層半教師付き異常検出手法であるDeep SADを提案する。正常データの潜在空間エントロピーを最小化し、異常データの潜在空間エントロピーを最大化する情報理論的フレームワークを導入することで、MNIST、Fashion-MNIST、CIFAR-10、およびベンチマークデータセットにおいて、最小限のラベル付きデータでも最先端の結果を達成した。

ABSTRACT

Deep approaches to anomaly detection have recently shown promising results over shallow methods on large and complex datasets. Typically anomaly detection is treated as an unsupervised learning problem. In practice however, one may have---in addition to a large set of unlabeled samples---access to a small pool of labeled samples, e.g. a subset verified by some domain expert as being normal or anomalous. Semi-supervised approaches to anomaly detection aim to utilize such labeled samples, but most proposed methods are limited to merely including labeled normal samples. Only a few methods take advantage of labeled anomalies, with existing deep approaches being domain-specific. In this work we present Deep SAD, an end-to-end deep methodology for general semi-supervised anomaly detection. We further introduce an information-theoretic framework for deep anomaly detection based on the idea that the entropy of the latent distribution for normal data should be lower than the entropy of the anomalous distribution, which can serve as a theoretical interpretation for our method. In extensive experiments on MNIST, Fashion-MNIST, and CIFAR-10, along with other anomaly detection benchmark datasets, we demonstrate that our method is on par or outperforms shallow, hybrid, and deep competitors, yielding appreciable performance improvements even when provided with only little labeled data.

研究の動機と目的

• 既存の半教師付き異常検出手法が正常ラベル付きデータのみを活用するという限界を是正し、異常ラベル付きデータを統合することでモデルの一般化性能を向上させる。
• 特定のデータタイプやドメインに制限されない汎用的な深層異常検出フレームワークを構築する。
• Infomax原理に基づく情報理論的解釈を提示し、モデルの挙動を潜在空間におけるエントロピー最小化と関連付ける。
• 正常および異常ラベル付きデータを用いた半教師付き学習が、特に複雑で高次元のデータにおいて、教師なしまたはワンクラス手法よりも顕著に検出性能を向上させることを実証する。

提案手法

• 未ラベルデータとラベル付きデータの両方を用いて再構成損失と分類損失を同時に最適化することで、非教師付きDeep SVDD手法を半教師付き設定に拡張する。
• 正常サンプルの潜在表現のエントロピーを最小化し、異常サンプルのエントロピーを最大化する新しい損失関数を導入し、正常データに対しては集合的（コンパクト）で、異常データに対しては疎な特徴を強制する。
• 入力データを潜在空間にマップする深層ニューラルネットワークを用い、正常クラスが原点を中心とする超球として特徴付けられるようにし、中心はエンドツーエンドで学習する。
• ラベル付き異常サンプルを正常超球から分離するためのマージンベースのコントラスト損失を適用し、完全な分類を必要とせずに分離性能を向上させる。
• 再構成損失、中心損失、およびエントロピーに基づく正則化を組み合わせてモデルを最適化し、頑健性を確保するためハイパーパrameterを調整する。
• 入力と潜在表現間の相互情報量を最大化する表現学習目的を統合し、コンパクトな特徴表現の構築前に十分な情報保持を保証する。

実験結果

リサーチクエスチョン

• RQ1 正常および異常ラベル付きデータを用いる深層半教師付き異常検出手法が、既存の教師なしおよびワンクラス手法を上回る性能を発揮できるか？
• RQ2 特にCIFAR-10のような複雑で高次元のデータセットにおいて、ラベル付き異常データを統合することで検出性能がどのように向上するか？
• RQ3 正常データではエントロピーを最小化し、異常データではエントロピーを最大化するという情報理論的フレームワークが、深層異常検出の理論的解釈として有効かつ妥当であるか？
• RQ4 ハイパーパrameter、特にエントロピー重み係数 η および潜在空間次元 d の選択に対して、この手法はどれほど頑健か？
• RQ5 Deep SADは画像以外のデータタイプにも一般化可能であり、低次元データセットにおける浅層カーネルベース手法と比較して、どのように性能を発揮するか？

主な発見

• Deep SADはMNIST、Fashion-MNIST、CIFAR-10で最先端の性能を達成し、浅層および深層の両方の競合手法（教師なしおよびワンクラス手法を含む）を上回った。
• わずか10個のラベル付き異常サンプルでも顕著な性能向上が得られ、半教師付き設定における高いデータ効率性を示した。
• 実験により、ハイパーパrameter η に対して安定したAUC性能が得られ、10⁻²から10²の広い範囲で一貫性が保たれた。
• 潜在空間次元 d が高くなるほど検出性能が向上し、上限に収束する傾向を示し、最適な性能を達成するには十分な表現能力が不可欠であることを示唆した。
• 古典的な非画像ベンチマークデータセットにおいても、Deep SADは浅層カーネル手法と同等の性能を維持したが、そのハイパーパrameterの優位性にもかかわらず、データタイプに跨る強力な一般化能力を示した。
• エントロピー最小化と最大化に基づく情報理論的フレームワークは、深層異常検出の有効で解釈可能な理論的基盤を提供しており、モデル設計および挙動の裏付けを示した。