[論文レビュー] Systematic Construction of Anomaly Detection Benchmarks from Real Data

Andrew Emmott, Shubhomoy Das+3 more|arXiv (Cornell University)|Mar 3, 2015

Anomaly Detection Techniques and Applications参考文献 34被引用数 14

ひとこと要約

本論文は、点の難易度、異常頻度、クラスタ構造の度合いを変化させることで、既存の分類データセットを現実的で真のラベルが付与された異常検出ベンチマークに変換する体系的な手法を提案する。この手法により、多様で制御された条件下で異常検出アルゴリズムの厳密な評価が可能となり、再現可能なベンチマークフレームワークを提供する。

ABSTRACT

Research in anomaly detection suffers from a lack of realis-tic and publicly-available problem sets. This paper discusses what properties such problem sets should possess. It then introduces a methodology for transforming existing classi-fication data sets into ground-truthed benchmark data sets for anomaly detection. The methodology produces data sets that vary along three important dimensions: (a) point diffi-culty, (b) relative frequency of anomalies, and (c) clustered-ness. We apply our generated datasets to benchmark several popular anomaly detection algorithms under a range of dif-ferent conditions. 1.

研究の動機と目的

• 研究分野における現実的で公開可能な異常検出データセットの不足に対処すること。
• 意味のある評価が可能なベンチマークデータセットが備えるべき基本的特性を定義すること。
• 既存の分類データから多様な異常検出ベンチマークを再現可能に生成するための手法を開発すること。
• 異常特性の変化に応じて異常検出アルゴリズムを体系的に評価できること。
• 制御された条件下でアルゴリズムの性能を比較するための標準的でスケーラブルなフレームワークを提供すること。

提案手法

• 既存の分類データセットに制御された特性を持つ合成異常を挿入することで適応する。
• 通常のインスタンスからの特徴空間上の距離を調整することで、異常ポイントの難易度を変化させる。
• データセット内の異常割合を調整することで、相対的な異常頻度を制御する。
• 特徴空間内に密集した領域や孤立したクラスタに異常を配置することで、クラスタ構造度合い（クラスタ構造性）を導入する。
• 元のデータ分布とクラス構造を保持することで、現実性と関連性を維持する。
• 多様な異常シナリオにおける評価を可能にするために、複数のベンチマークバージョンを生成する。

実験結果

リサーチクエスチョン

• RQ1 異常検出アルゴリズムの性能は、異常ポイントの難易度が変化する際にどのように変化するか？
• RQ2 異常頻度の相対的変化が、アルゴリズムの検出精度と耐性に与える影響は何か？
• RQ3 異常ポイントの空間的クラスタ構造が、検出性能にどの程度影響を及えるか？
• RQ4 異常ポイントが密集した領域や孤立したクラスタに分布する場合、アルゴリズムの挙動はどのように変化するか？
• RQ5 体系的なベンチマークフレームワークは、異常検出研究における再現性と比較可能性を向上させることができるか？

主な発見

• 提案手法により、既存の分類データセットから現実的で真のラベルが付与された異常検出ベンチマークを効果的に生成できた。
• 異常検出の性能は、点の難易度、頻度、クラスタ構造性の変化に著しく依存する。
• とくに異常がまれまたはクラスタ構造を示す場合、検出が難しいとされる異常ポイントに対して、アルゴリズムの性能が低下する傾向が見られた。
• ベンチマークフレームワークにより、多様な実験的条件下で一貫性があり再現可能な評価が可能になった。
• 生成されたデータセットは、標準的なベンチマークでは見えなかった性能のトレードオフを明らかにした。これにより、多様な評価環境の必要性が強調された。
• 本手法は、現実的な異常分布下でのアルゴリズムの耐性を体系的かつスケーラブルに評価する手段を提供した。