[論文レビュー] Improved histogram-based anomaly detector with the extended principal component features

Sunil Aryal, Arbind Agrahari Baniya+1 more|arXiv (Cornell University)|Sep 27, 2019

Anomaly Detection Techniques and Applications参考文献 14被引用数 7

ひとこと要約

本稿では、相関する多次元パターンを捉えるために、元の特徴量と主成分（PC）を組み合わせることで検出精度を向上させる、拡張されたヒストグラムベースの異常検出手法SPAD+を提案する。PCによって特徴空間を拡張することで、SPAD+はタイプI（単一特徴量の外れ値）およびタイプII（多次元）異常を効果的に検出でき、ランタイムのわずかなオーバーヘッドでベースラインSPADおよび最先端手法を上回る優れた性能を達成する。

ABSTRACT

In this era of big data, databases are growing rapidly in terms of the number of records. Fast automatic detection of anomalous records in these massive databases is a challenging task. Traditional distance based anomaly detectors are not applicable in these massive datasets. Recently, a simple but extremely fast anomaly detector using one-dimensional histograms has been introduced. The anomaly score of a data instance is computed as the product of the probability mass of histograms in each dimensions where it falls into. It is shown to produce competitive results compared to many state-of-the-art methods in many datasets. Because it assumes data features are independent of each other, it results in poor detection accuracy when there is correlation between features. To address this issue, we propose to increase the feature size by adding more features based on principal components. Our results show that using the original input features together with principal components improves the detection accuracy of histogram-based anomaly detector significantly without compromising much in terms of run-time.

研究の動機と目的

• 単一特徴量では外れ値でないが、多次元部分空間で異常となるような異常を、ヒストグラムベースの異常検出手法が検出できないという限界を解消すること。
• ランタイムを著しく増加させることなく、SPAD手法の検出精度を向上させること。
• 主成分が、一変量ヒストグラムでは捉えきれない特徴の相関関係を捉えることで、異常検出に寄与するかどうかを検証すること。
• ビッグデータにおける異常検出のための、高速で効果的かつ効率的な新しいベースラインを確立すること。

提案手法

• データの共分散行列から導出された主成分（PC）を追加することで、入力特徴空間を拡張する。
• 元の特徴量とPCの組み合わせた特徴空間にSPADアルゴリズムを適用し、異常スコアを計算する。
• 元の特徴量とPCの両方を含むすべての次元における一変量ヒストグラム確率の積として、異常スコアを計算する。
• PCAを用いて、相関する入力特徴量を、線形関係を捉える直交的で非相関な成分に変換する。
• ヒストグラムベースのスコア計算メカニズムを維持することで、計算効率を確保する。これは本質的に高速でスケーラブルである。
• 元の特徴量の強み（タイプI異常の検出）とPCの強み（相関する部分空間におけるタイプII異常の検出）を補完的に活用する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間に主成分を追加することで、一変量ヒストグラムのみでは検出できない異常の検出が向上するか？
• RQ2 PCの導入が、顕著な計算コストを増加させることなく、SPADアルゴリズムの性能を著しく向上させるか？
• RQ3 AUCとランタイムの両面で、SPAD+は従来のk-NNや他の高速異常検出手法と比較してどのように差をつけるか？
• RQ4 LOF や iForest はPCの追加によって利益を得ないのに対し、SPAD+はなぜ利益を得られるのか？

主な発見

• SPAD+は15のベンチマークデータセットにおいて、SPADより顕著に検出精度を向上させ、AUCの平均値を0.8432から0.8662に向上させた。
• SPAD+はAUCにおいてk-NNおよびiForestを上回り、すべてのデータセットで最高の平均AUC0.8662を達成した。
• 本手法は高い速度を維持しており、多数の既存の高速異常検出アルゴリズムを上回る速度で実行され、ビッグデータに適している。
• LOF や iForest にPCを追加しても性能向上が得られない。これは、これらの手法の異常スコアがすでに多次元距離やランダムな分割に基づいているため、PCは余分または誤解を招く要因となる。
• SPAD+は、個々の特徴量では正常だが、連携部分空間で異常となるタイプII異常を、相関するPCを活用することで効果的に検出できる。
• SPAD+におけるPCの使用は、iForestで一般的に見られる偽陽性を回避する。PCは直交的であるため、人工的な相関関係を生じさせない。