[論文レビュー] Robust Contextual Outlier Detection: Where Context Meets Sparsity

Jiongqian Liang, Srinivasan Parthasarathy|arXiv (Cornell University)|Jul 28, 2016

Anomaly Detection Techniques and Applications参考文献 35被引用数 10

ひとこと要約

本稿では、局所的およびグローバルな行動モデルを統合することで、スパースな文脈を扱えるようにした、ロバストな文脈的外れ値検出手法ROCODを提案する。ROCODは、スパースな文脈においても、精度とスケーラビリティを著しく向上させ、合成および実世界のデータセットにおいて、最先端の手法を40倍の高速化と優れた正確性で上回る。

ABSTRACT

Outlier detection is a fundamental data science task with applications ranging from data cleaning to network security. Given the fundamental nature of the task, this has been the subject of much research. Recently, a new class of outlier detection algorithms has emerged, called {\it contextual outlier detection}, and has shown improved performance when studying anomalous behavior in a specific context. However, as we point out in this article, such approaches have limited applicability in situations where the context is sparse (i.e. lacking a suitable frame of reference). Moreover, approaches developed to date do not scale to large datasets. To address these problems, here we propose a novel and robust approach alternative to the state-of-the-art called RObust Contextual Outlier Detection (ROCOD). We utilize a local and global behavioral model based on the relevant contexts, which is then integrated in a natural and robust fashion. We also present several optimizations to improve the scalability of the approach. We run ROCOD on both synthetic and real-world datasets and demonstrate that it outperforms other competitive baselines on the axes of efficacy and efficiency (40X speedup compared to modern contextual outlier detection methods). We also drill down and perform a fine-grained analysis to shed light on the rationale for the performance gains of ROCOD and reveal its effectiveness when handling objects with sparse contexts.

研究の動機と目的

• 既存の文脈的外れ値検出手法が、スパースな文脈的属性を持つオブジェクトを処理する能力に制限があることに対処すること。
• 文脈的属性と行動的属性をより効果的に区別することで、外れ値検出の正確性を向上させること。
• 大規模データセットでも高いパフォーマンスを維持できるスケーラブルなアルゴリズムを開発すること。
• 局所的およびグローバルな行動モデルを統合する包括的なフレームワークを提供すること。

提案手法

• ROCODは二重モデルアプローチを採用する：文脈的近傍に基づく局所的期待行動モデルと、全データセットから導出されたグローバルな期待行動モデル。
• 局所的およびグローバルな行動期待値を自然でロバストな統合メカニズムで統合し、スパースな文脈における外れ度の過大評価を最小限に抑える。
• 局所的ハッシュ法（LSH）を用いて文脈的近傍を効率的に推定し、大規模データセットへのスケーラビリティを実現する。
• 並列処理および最適化技術を組み込み、計算を高速化し、顕著な高速化を達成する。
• グローバル行動推定に線形および非線形モデルの両方をサポートし、ROCOD_2は非線形モデルを用いることで正確性を向上させる。
• 特にスパースな文脈領域において、通常のオブジェクトを誤って外れ値として特定するのを回避するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 スパースな文脈的属性が存在する状況で、外れ値検出をどのようにしてよりロバストにできるか。
• RQ2 包括的な局所的およびグローバルな行動モデリングアプローチは、既存の文脈的外れ値検出手法と比較して、検出正確性を向上させられるか。
• RQ3 提案手法は、大規模データセットに対しても高いパフォーマンスを維持しながら、どの程度スケーラブルに拡張できるか。
• RQ4 最先端の手法がなぜスパースな文脈領域で正しく外れ値を特定できないのか、そしてROCODはそれをどのように克服するか。

主な発見

• ROCODは、最先端の文脈的外れ値検出手法CAD比で最大40倍の高速化を達成し、ROCOD_1はROCOD_2よりも高速である。
• KDD-CUP99データセットにおいて、ROCOD_2はAUCおよびnDCGの両面でCADおよびLSODを上回り、優れたランク付け性能を示した。
• KDD-CUP99データセットにおいて、ROCODはトップ100の精度が0.85を達成し、LSOD（0.72）およびCAD（0.78）を著しく上回った。
• ROCODは、スパースな文脈領域（例：点A、B）における外れ値を正しく同定するが、LSODおよびCADとは異なり、誤検出を避ける。
• ROCODにおけるLSHの使用により、大規模データセット上での実行時間が1,000秒以上から700秒未満に短縮され、スケーラビリティにとって不可欠であることが実証された。
• 可視化分析により、ROCODはスパースな文脈を持つ通常のオブジェクトを誤って外れ値として分類しないことが確認されたが、CADおよびLSODは頻繁にそうした誤検出をしていた。