[論文レビュー] A Meta-Analysis of the Anomaly Detection Problem

Andrew Emmott, Shubhomoy Das+3 more|arXiv (Cornell University)|Mar 3, 2015

Anomaly Detection Techniques and Applications被引用数 29

ひとこと要約

本論文は、点の難易度、異常頻度、凝集性、特徴量の関連性といった多様な問題次元をカバーする標準化され、公開可能なベンチマークコーパスを用いて、異常検出アルゴリズムの包括的メタアナリシスを提示している。実験設計が結果に強く影響することを示し、一般用途向けに最も頑健なアルゴリズムとしてIsolation Forestを推奨するとともに、分野における公準な評価と進捗測定を可能にするため、標準化されたベンチマークの導入を提唱している。

ABSTRACT

This article provides a thorough meta-analysis of the anomaly detection problem. To accomplish this we first identify approaches to benchmarking anomaly detection algorithms across the literature and produce a large corpus of anomaly detection benchmarks that vary in their construction across several dimensions we deem important to real-world applications: (a) point difficulty, (b) relative frequency of anomalies, (c) clusteredness of anomalies, and (d) relevance of features. We apply a representative set of anomaly detection algorithms to this corpus, yielding a very large collection of experimental results. We analyze these results to understand many phenomena observed in previous work. First we observe the effects of experimental design on experimental results. Second, results are evaluated with two metrics, ROC Area Under the Curve and Average Precision. We employ statistical hypothesis testing to demonstrate the value (or lack thereof) of our benchmarks. We then offer several approaches to summarizing our experimental results, drawing several conclusions about the impact of our methodology as well as the strengths and weaknesses of some algorithms. Last, we compare results against a trivial solution as an alternate means of normalizing the reported performance of algorithms. The intended contributions of this article are many; in addition to providing a large publicly-available corpus of anomaly detection benchmarks, we provide an ontology for describing anomaly detection contexts, a methodology for controlling various aspects of benchmark creation, guidelines for future experimental design and a discussion of the many potential pitfalls of trying to measure success in this field.

研究の動機と目的

• 多様な現実世界の状況下で異常検出アルゴリズムを評価するための標準化され、現実的であるベンチマークの不足に対処すること。
• アルゴリズムのパフォーマンスに影響を与える重要な問題次元（点の難易度、異常頻度、凝集性、特徴量の関連性）を特定し、制御すること。
• 統計的仮説検定と複数の指標（AUC、平均適合率）を用いて、制御された再現可能性のある条件下で代表的な異常検出アルゴリズムを評価すること。
• データセット選択バイアスや楽観的な報告といった、実験設計における一般的な落とし穴を暴露し、今後の研究におけるベストプラクティスを提言すること。
• 標準化された評価を可能にし、今後のアルゴリズムの公平な比較を可能にするために、公開可能なベンチマークコーパスとオントロジーを提供すること。

提案手法

• 点の難易度、相対的な異常頻度、異常における凝集性、特徴量の関連性という4つの問題次元を体系的に変化させることで、1,000件を超える異常検出ベンチマークから成る多様なコーパスを構築した。
• 現実的なデータ分布を保ちつつ、次元ごとの変動を制御するために「モザイドセット」アプローチを用いて合成データを生成した。
• Isolation Forest、LOF、ABOD、SVDD、OC-SVM、密度推定器を含む12種類の代表的な異常検出アルゴリズムを、先行研究に基づく標準化されたパrameterizationを用いて適用した。
• AUC（受信者操作特性曲線下の面積）と平均適合率という2つの主な指標を用いてパフォーマンスを評価し、ベンチマーク全体で有意性を統計的仮説検定で評価した。
• 混合効果モデルを用いて、問題次元とアルゴリズム選択のパフォーマンスへの影響を定量化し、モデルの説明力の程度をR²で推定した。
• 結果の正規化と、報告された向上が意味のあるものかどうかの評価のため、単純なベースライン（例：ランダムスコア）との比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 点の難易度、異常頻度、凝集性、特徴量の関連性といった主な問題次元が、異常検出アルゴリズムのパフォーマンスにどのように影響を与えるか？
• RQ2 特にデータセット選択とモザイドセットの選択が、報告されたアルゴリズムパフォーマンスにどれほどバイアスをもたらすか？
• RQ3 どの異常検出アルゴリズムが多様なベンチマーク条件において最も一貫性を持って性能を発揮するか？また、他のアルゴリズムが特定の条件下で優れるのはどのような状況か？
• RQ4 単純なベースラインと比較した場合、文献に報告されたパフォーマンスの向上はどれほど意味があるのか？また、それはアルゴリズムの優位性によるものか、それとも実験設計に起因するものか？
• RQ5 標準化され、公開可能なベンチマークコーパスは、異常検出研究における公平性、再現性、進捗測定の向上に寄与できるか？

主な発見

• Isolation Forestは、ベンチマークコーパス全体で平均的に他のすべてのアルゴリズムを上回り、特にスケーラビリティと多様な条件下での頑健性に優れていた。
• モザイドセットの選択がアルゴリズム選択よりも顕著に実験結果に影響を与えたことから、先行研究におけるデータセット選択が主要なバイアス要因であることが示された。
• SVDD や OC-SVM でさえも、慎重なパrameterizationを行ってもパフォーマンスが低かったことから、これらのアルゴリズムは調整が難しく、熟練した設定がなければ一般用途には適さない可能性がある。
• rkde や egmm といった密度ベースの手法は、高次元データではスケーリングに劣り、一方で Isolation Forest や LODA は大規模データセットおよび高次元特徴数において優れたスケーラビリティを示した。
• トップパフォーマンスを示したアルゴリズム（例：Isolation Forest、ABOD、LOF）間のパフォーマンス差は比較的小さく、多くのアルゴリズムがデータ内の類似した根本的パターンを測定していることが示唆された。
• 多くの文献で報告された結果は、選択バイアスのため楽観的すぎる可能性がある。単純なベースラインと比較した場合、多くのアルゴリズムが僅かな改善しか示さなかったことから、実世界での画期的な進歩は限定的である可能性がある。