[論文レビュー] Generative Adversarial Active Learning for Unsupervised Outlier Detection

Yezheng Liu, Zhe Li+5 more|arXiv (Cornell University)|Sep 28, 2018

Anomaly Detection Techniques and Applications参考文献 46被引用数 59

ひとこと要約

この論文は SO-GAAL と MO-GAAL を提案し、GAN ベースのフレームワークを用いて教師なし外れ値検出のための有益な潜在アウトライヤを生成し、高次元のスパース性とモード崩壊に対処します。

ABSTRACT

Outlier detection is an important topic in machine learning and has been used in a wide range of applications. In this paper, we approach outlier detection as a binary-classification issue by sampling potential outliers from a uniform reference distribution. However, due to the sparsity of data in high-dimensional space, a limited number of potential outliers may fail to provide sufficient information to assist the classifier in describing a boundary that can separate outliers from normal data effectively. To address this, we propose a novel Single-Objective Generative Adversarial Active Learning (SO-GAAL) method for outlier detection, which can directly generate informative potential outliers based on the mini-max game between a generator and a discriminator. Moreover, to prevent the generator from falling into the mode collapsing problem, the stop node of training should be determined when SO-GAAL is able to provide sufficient information. But without any prior information, it is extremely difficult for SO-GAAL. Therefore, we expand the network structure of SO-GAAL from a single generator to multiple generators with different objectives (MO-GAAL), which can generate a reasonable reference distribution for the whole dataset. We empirically compare the proposed approach with several state-of-the-art outlier detection methods on both synthetic and real-world datasets. The results show that MO-GAAL outperforms its competitors in the majority of cases, especially for datasets with various cluster types or high irrelevant variable ratio.

研究の動機と目的

• 潜在アウトライヤを人工的に生成することによって外れ値検出を二値分類問題として定式化する。
• SO-GAAL を開発し、ジェネレータと識別器のミニマックスゲームを通じて情報価値のあるアウトライヤを生成する。
• 複数の生成器を備えた MO-GAAL に拡張し、モード崩壊を緩和し、包括的な参照分布を提供する。

提案手法

• 一様参照分布と識別器を用いて分類タスクとして外れ値検出を定式化する。
• SO-GAAL を導入：生成器は情報価値のあるアウトライヤを生成し、識別器は意思決定境界を定義する。
• モード崩壊を分析し、複数の生成器が異なるデータ部分集合を学習して混合参照分布を作成する MO-GAAL を提案する。
• 判定基準 D(x) が外れ値スコア OS(x) = 1 - D(x) となる目的を定義する。
• 崩壊を防ぐため、単一の生成器から複数生成器へ移行するトレーニング手順と停止基準を提供する。

実験結果

リサーチクエスチョン

• RQ1 対立的アクティブラーニングは、教師なし設定で分類器が外れ値と通常データを区別するのに役立つ情報価値のある潜在アウトライヤを生成できるか？
• RQ2 単一の生成器から複数の生成器へ拡張（MO-GAAL）はモード崩壊を緩和し、多様なデータ構造に対する堅牢性を向上させるか？
• RQ3 SO-GAAL と MO-GAAL は、synthetic データセットと実世界データセットで最先端の外れ値検出法と比較してどうか？

主な発見

• MO-GAAL は、競合他手法を大多数のケースで上回ることが多く、特にクラスタタイプが異なる場合や高い不要変数比率で顕著である。
• SO-GAAL は情報価値のあるアウトライヤが生成されることで境界学習が強化されるが、停止基準がないとモード崩壊を招く可能性がある。
• MO-GAAL は k 個のサブ生成器を用いて異なるデータ部分集合を学習し、検出のための包括的な参照分布を作成する。
• 実証評価には、クラスタタイプが異なる合成データセットと実世界データセットを含み、性能指標として ROC-AUC を使用した。
• このアプローチは Keras で実装され、密度ベース、距離ベース、クラスタベース、そしてワン クラス分類器と比較した。