[論文レビュー] A Fast Greedy Algorithm for Outlier Mining

Zengyou He, Xiaofei Xu+1 more|ArXiv.org|Jul 27, 2005

Anomaly Detection Techniques and Applications被引用数 15

ひとこと要約

本稿では、カテゴリカルデータにおける外れ値抽出のための高速グリーディアルゴリズムを提案する。従来の局所探索ヒューリスティック（LSA）と比較して、時間効率を著しく向上させつつ、外れ値検出の正確性を維持している。最適化モデルをグリーディ選択プロセスに再定式化することで、大規模データセット上でも検出品質を損なわずに最大10倍の高速化を達成している。

ABSTRACT

The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large amount of data. In [38], the problem of outlier detection in categorical data is defined as an optimization problem and a local-search heuristic based algorithm (LSA) is presented. However, as is the case with most iterative type algorithms, the LSA algorithm is still very time-consuming on very large datasets. In this paper, we present a very fast greedy algorithm for mining outliers under the same optimization model. Experimental results on real datasets and large synthetic datasets show that: (1) Our algorithm has comparable performance with respect to those state-of-art outlier detection algorithms on identifying true outliers and (2) Our algorithm can be an order of magnitude faster than LSA algorithm.

研究の動機と目的

• 大規模なカテゴリカルデータセットにおける、従来の反復的外れ値検出アルゴリズムの高い計算コストを解決すること。
• 実行時間の大幅な削減を実現しながらも、高い検出正確性を維持するスケーラブルな外れ値抽出ソリューションを開発すること。
• LSAと同一の数学的モデルを採用するが、反復的局所探索の代わりにグリーディアプローチを用いることで、外れ値検出プロセスを最適化すること。
• 提案アルゴリズムの性能と効率を、実世界データおよび大規模な合成データセット上で評価すること。

提案手法

• アルゴリズムは、外れ値検出問題をグリーディ最適化タスクに再定式化し、スコア関数に基づいて外れ値を段階的に選択する。
• 新しいタプルを外れ値集合に追加した際の目的関数の改善を迅速に評価するメカニズムを用いる。
• 最適化目的関数の増加量が最大となるタプルを反復的に追加することで、迅速な収束を実現する。
• LSAが行う高コストな局所探索ステップを回避することで、時間計算量を顕著に削減する。
• LSAと同一の最適化モデルを採用することで、外れ値の品質の一貫性を保証する。
• 各反復処理における候補タプルのスコア計算を高速化するためのデータ構造最適化を活用する。

実験結果

リサーチクエスチョン

• RQ1 グリーディアプローチは、LSAアルゴリズムと同等の外れ値検出正確性を達成しながら、著しく高速化できるか？
• RQ2 提案アルゴリズムは、従来の反復的手法と比較して、データセットサイズの増加に伴いどのようにスケーリングするか？
• RQ3 大規模データセット上での実行時間において、グリーディアルゴリズムは局所探索ヒューリスティックと比較してどの程度の性能向上を達成するか？
• RQ4 グリーディ選択戦略は、多様なカテゴリカルデータ分布において外れ値の検出品質を保持できるか？

主な発見

• 提案されたグリーディアルゴリズムは、真の外れ値を特定するという点で、最先端のアルゴリズムと同等の外れ値検出性能を達成している。
• 大規模な合成データセット上では、LSAアルゴリズムと比較して最大10倍の高速化が達成された。
• 数百万のタプルを含むデータセットを処理しても、高い正確性を維持している。
• グリーディ選択プロセスにより、反復的局所探索と比較してより迅速な収束が実現され、検出品質を損なわずに実行時間を短縮した。