[論文レビュー] MDGAN: Boosting Anomaly Detection Using \\\\Multi-Discriminator Generative Adversarial Networks

Yotam Intrator, Gilad Katz+1 more|arXiv (Cornell University)|Oct 11, 2018

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

本稿では、正常なサンプルを高品質かつ現実的に生成することで訓練データを拡張する、マルチディスクライマータ GAN アーキテクチャ MDGAN を提案する。密なディスクライマータ（D1）を用いてサンプルの妥当性を保証し、オートエンコーダー・ディスクライマータ（D2）を用いて再構築の忠実度を強制することで、MDGAN は生成器の品質とオートエンコーダーの耐障害性を同時に向上させ、ベースライン手法と比較して多様なデータセットにおいて AUC スコアを顕著に改善する。

ABSTRACT

Anomaly detection is often considered a challenging field of machine learning due to the difficulty of obtaining anomalous samples for training and the need to obtain a sufficient amount of training data. In recent years, autoencoders have been shown to be effective anomaly detectors that train only on "normal" data. Generative adversarial networks (GANs) have been used to generate additional training samples for classifiers, thus making them more accurate and robust. However, in anomaly detection GANs are only used to reconstruct existing samples rather than to generate additional ones. This stems both from the small amount and lack of diversity of anomalous data in most domains. In this study we propose MDGAN, a novel GAN architecture for improving anomaly detection through the generation of additional samples. Our approach uses two discriminators: a dense network for determining whether the generated samples are of sufficient quality (i.e., valid) and an autoencoder that serves as an anomaly detector. MDGAN enables us to reconcile two conflicting goals: 1) generate high-quality samples that can fool the first discriminator, and 2) generate samples that can eventually be effectively reconstructed by the second discriminator, thus improving its performance. Empirical evaluation on a diverse set of datasets demonstrates the merits of our approach.

研究の動機と目的

• ワンクラス異常検出における限られた非多様な異常サンプルの訓練データの課題に対処すること。
• 従来の GAN が実際のサンプルの再構築にとどまっているのに対し、新しいサンプルを生成できるようにする制限を克服すること。
• 合成された正常サンプルを生成することで、オートエンコーダーに基づく異常検出器の性能を向上させ、一般化能力を強化すること。
• 2 つの相反する目標を調和させること：ディスクライマータ D1 に欺かれる高忠実度のサンプルを生成することと、オートエンコーダーによって効果的に再構築可能なサンプルを生成すること。

提案手法

• 2 つのディスクライマータを備えた新しい GAN アーキテクチャを提案：D1 はサンプルの現実性を評価する密なニューラルネットワーク、D2 は再構築誤差を測定するトレーニング済みオートエンコーダー。
• 生成器を、D1 に対する adversarial loss と D2 に対する reconstruction loss の両方を最小化するように訓練し、サンプル品質と再構築の有用性のバランスをとる。
• 2 階段のトレーニング戦略を採用し、生成器が本物のデータと区別がつかないだけでなく、オートエンコーダーによって再構築可能なサンプルを生成するように学習する。
• トレーニングの安定化のためのウォームアップフェーズを適用するが、実験的結果では性能向上が一貫せず、多様性を制限する可能性がある。
• 検証性能に基づいた早期停止を用いて過学習を防ぎ、分析の結果、より長いトレーニング時間と高い性能が相関していることが示された。
• 一般化能力と耐障害性を評価するために、次元数やサンプル数が異なる 10 個の多様なデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチディスクライマータ GAN アーキテクチャは、ワンクラス異常検出を向上させる合成正常サンプルを効果的に生成できるか？
• RQ2 妥当性ディスクライマータ（D1）と再構築ベースディスクライマータ（D2）を同時にトレーニングすることで、標準的な GAN やオートエンコーダー単体と比較して、より優れた一般化性能が得られるか？
• RQ3 トレーニングのダイナミクス（特に損失の収束と早期停止）は、最終的な異常検出性能にどのように影響するか？
• RQ4 データセットの次元数とトレーニングセットのサイズは、MDGAN が検出性能を向上させる能力にどのような影響を与えるか？
• RQ5 MDGAN トレーニングにおけるウォームアップフェーズは、モデル性能を一貫して向上させるのか、それとも生成器が多様で困難なサンプルを生成する能力を制限するのか？

主な発見

• MDGAN は、テストした 10 個のデータセットの大部分で広く使用されているベンチマークを顕著に上回り、AUC スコアの改善が一貫して確認された。
• 最高性能を示した MDGAN モデルでは、生成されたサンプルに対する D1 の損失が高くなる傾向にあり、より難易度の高い（より簡単に欺けない）サンプルが全体の性能向上と相関していることを示している。
• オートエンコーダー・ディスクライマータ（D2）における生成器損失の収束が遅いほど、検出性能が優れていることが分かった。これは、より難しい再構築タスクが一般化能力を向上させることを示唆している。
• ウォームアップフェーズは一貫した性能向上をもたらさず、生成されたサンプルが本物のデータにあまりに似すぎているため、生成器の多様性が低下する可能性がある。
• MDGAN は高次元データセットで最も優れた性能を発揮する。特徴量が最も少ない 2 つのデータセットでは性能向上が見られず、複雑で高次元の空間での恩恵がより顕著であることが示された。
• 30 エポック未満でトレーニングを終了した場合、AUC スコアが著しく低下する傾向があり、MDGAN が複数の制約を効果的に満たすには、より長いトレーニング期間が必要であることが示された。