[論文レビュー] Deep Anomaly Detection with Deviation Networks

Guansong Pang, Chunhua Shen+1 more|arXiv (Cornell University)|Nov 19, 2019

Anomaly Detection Techniques and Applications参考文献 27被引用数 5

ひとこと要約

本稿では、少量のラベル付き異常データと事前確率を用いて、エンド・ツー・エンドで微分可能に訓練することで、直接に異常スコアを学習する深層異常検出フレームワークであるDevNetを提案する。表現学習を経由して間接的に異常スコアを最適化する二段階手法の限界を克服し、最初に表現を学習するのではなく、直接的に異常スコアを最適化することにより、著しく高いデータ効率と性能を達成した。複数のベンチマークでSOTA手法を上回り、AUC-ROCおよびAUC-PRの両面で優れた性能を示し、特に競合モデル比でAUC-PRで30%の向上を達成した。

ABSTRACT

Although deep learning has been applied to successfully address many data mining problems, relatively limited work has been done on deep learning for anomaly detection. Existing deep anomaly detection methods, which focus on learning new feature representations to enable downstream anomaly detection methods, perform indirect optimization of anomaly scores, leading to data-inefficient learning and suboptimal anomaly scoring. Also, they are typically designed as unsupervised learning due to the lack of large-scale labeled anomaly data. As a result, they are difficult to leverage prior knowledge (e.g., a few labeled anomalies) when such information is available as in many real-world anomaly detection applications. This paper introduces a novel anomaly detection framework and its instantiation to address these problems. Instead of representation learning, our method fulfills an end-to-end learning of anomaly scores by a neural deviation learning, in which we leverage a few (e.g., multiple to dozens) labeled anomalies and a prior probability to enforce statistically significant deviations of the anomaly scores of anomalies from that of normal data objects in the upper tail. Extensive results show that our method can be trained substantially more data-efficiently and achieves significantly better anomaly scoring than state-of-the-art competing methods.

研究の動機と目的

• 表現学習を経由して間接的に異常スコアを最適化する二段階手法の限界を解決すること。
• 少数のラベル付き異常データと事前確率のみを用いて、エンド・ツー・エンドで微分可能な異常スコアの学習を可能にすること。
• 最終的な異常スコアの目的関数を直接最適化することで、データ効率と異常スコアの品質を向上させること。
• 事前知識の欠如により、ノイズや関係のないデータを誤って異常とみなしてしまうことがある非教師あり手法の欠点を克服すること。
• 高頻度の異常データが混在する状況や限られたラベル付きデータでも良好に動作するスケーラブルで効率的な深層学習フレームワークの開発

提案手法

• DevNetは、入力データから直接異常スコアを予測するためのニューラルネットワークを用いる。中間の表現学習を回避する。
• 異常スコアが通常データの上尾部で統計的に有意なずれを示すように制約を課すための「デバイエーション損失」を導入。この損失は、異常スコア分布における事前確率を用いる。
• 少数のラベル付き異常データと、通常データおよび異常データが混在する大量のラベルなしデータを用いて、エンド・ツー・エンドで訓練する。
• デバイエーション損失は計算的に効率的かつ微分可能であり、ネットワーク全体にバックプロパゲーションを可能にする。
• 多層パーセプトロンを含むさまざまな深層アーキテクチャをサポートし、画像や時系列データ向けに畳み込み型や再帰型ネットワークへの拡張も可能である。
• 異常混在のラベルなしデータから負例をランダムにサンプリングすることで、データ量が少ない状況でもロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドでの異常スコアの学習は、二段階の表現学習に比べて、深層異常検出で優れた性能を発揮できるか？
• RQ2 少数のラベル付き異常データと事前確率の使用が、データ効率とスコアリング性能をどのように向上させるか？
• RQ3 表現を経由して間接的に最適化するのではなく、直接的に異常スコアを最適化することで、一般化性能およびロバスト性が向上するか？
• RQ4 ラベルなしデータに高い異常混在率がある状況でも、DevNetはどの程度の性能を発揮するか？
• RQ5 データサイズや次元数の増加に伴い、提案手法は効率的にスケーリングできるか？

主な発見

• DevNetは、最良の競合手法であるLinearよりもAUC-ROCで平均6%、AUC-PRで30%の向上を達成し、優れたデータ効率とスコアリング品質を示した。
• DSVDDと比較して、デバイエーション損失を用いたRep（変種）はAUC-PRを16%向上させつつAUC-ROCは同等を維持した。これは、デバイエーション損失が多様な異常行動を捉える優位性を示している。
• 大規模データセットでは、REPEN や FSNet と比較して、計算効率の高い損失関数のおかげで、DevNetは10〜20倍速く実行された。線形時間計算量は同程度であったが、実行速度は顕著に向上した。
• 高い異常混在率（最大50%）の状況でも、DevNetは強力な性能を維持し、SOTAの非教師あり検出器を著しく上回った。
• 少数のラベル付き異常データしかない状況では、より深いネットワーク（例：3HL）が一貫して性能を向上させるとは限らず、モデルの深さはデータの可用性に合わせて調整されるべきであることが示された。
• 画像（CelebA、Backdoor）、テキスト（URL、Campaign、News20）、およびテーブルデータ（Thyroid）など、多様なデータセットにわたって一貫したAUC-ROCおよびAUC-PRの向上が得られ、汎用性が高く優れた一般化性能を示した。