[論文レビュー] Online Anomaly Detection Systems Using Incremental Commute Time

Nguyen Lu Dang Khoa, Sanjay Chawla|arXiv (Cornell University)|Jul 20, 2011

Anomaly Detection Techniques and Applications参考文献 21被引用数 3

ひとこと要約

本稿では、リアルタイムでの通信時間距離（CTD）の計算のための2つの新しいインクリメンタル手法を提案する。1つはグラフラプラシアンのインクリメンタル固有値分解に基づくもので、もう1つは再帰的到達時間近似を用いるものである。両手法とも、1つの新しいデータポイントあたり定数時間で更新可能であり、オンラインでの異常検出が可能で、30万ノード以上の大きなグラフにおいて平均7ms未満の処理時間を達成した。バッチ手法に比べて高速でありながら、グローバルおよびローカルの異常を高い精度で検出できる。

ABSTRACT

Commute Time Distance (CTD) is a random walk based metric on graphs. CTD has found widespread applications in many domains including personalized search, collaborative filtering and making search engines robust against manipulation. Our interest is inspired by the use of CTD as a metric for anomaly detection. It has been shown that CTD can be used to simultaneously identify both global and local anomalies. Here we propose an accurate and efficient approximation for computing the CTD in an incremental fashion in order to facilitate real-time applications. An online anomaly detection algorithm is designed where the CTD of each new arriving data point to any point in the current graph can be estimated in constant time ensuring a real-time response. Moreover, the proposed approach can also be applied in many other applications that utilize commute time distance.

研究の動機と目的

• 通信時間距離（CTD）を用いたリアルタイムオンライン異常検出を可能にする。CTDは通常、O(n³)の固有値分解コストのため、インクリメンタルな更新には不適切である。
• 新しいデータポイントが動的に到着する状況において、再計算を伴わずCTDを効率的に計算する課題に取り組む。
• スケーラブルで定数時間のCTD推定手法を設計し、ネットワーク監視やセンサデータなどのストリーミングアプリケーションに適した、変化するグラフに適用可能である。
• 固有値分解の更新と再帰的到達時間推定という2つの異なるインクリメンタルCTD近似手法を、精度、速度、耐性の観点から比較する。
• 合成データおよび実世界のデータセット（ネットワークトラフィックや環境監視データを含む）を用いて、提案手法の妥当性を検証する。

提案手法

• 最初の手法は、1次摂動理論を用いて、グラフラプラシアン行列の固有値と固有ベクトルをインクリメンタルに更新することで、変化するグラフにおける効率的なスペクトル計算を実現する。
• 2番目の手法は、到達時間と通信時間の間の再帰的関係を利用し、到達時間の動的更新によって、1つの新しい点あたり定数時間でCTD推定を可能にする。
• 両手法とも、ラプラシアンの固有値分解を完全に再計算する必要がなく、更新1点あたりの時間計算量をO(n³)から近似的線形時間または定数時間に削減する。
• オンライン異常検出アルゴリズムは、各新しい点について、すべての既存点とのCTDを定数時間で計算し、CTDが大きい点を異常と特定する。
• 正規化のためのmin-maxスケーリングを統合し、k近傍点または固定近傍半径に基づくグラフ構築を用いる。
• iLED（インクリメンタル固有値分解に基づく）およびiECT（到達時間によるインクリメンタルCTD）の2つのバリエーションを用いて評価し、バッチCTD計算と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 動的データストリームにおけるリアルタイム異常検出を可能にするために、CTDを定数時間でインクリメンタルに計算できるか？
• RQ2 オンラインCTD計算において、インクリメンタル固有値分解と再帰的到達時間推定の両手法は、精度と効率においてどのように比較されるか？
• RQ3 2つの提案手法は、グローバルおよびローカルの両方の異常を検出するというCTDの耐性をどの程度維持しているか？
• RQ4 バッチ手法に比べて計算コストを削減しつつ、インクリメンタルCTDアプローチは高い検出精度を維持できるか？
• RQ5 2つのインクリメンタル手法における精度と再現率のトレードオフは何か？また、それらを統合することで性能を向上させられるか？

主な発見

• 提案されたインクリメンタルCTD手法は、30万ノード以上、100万エッジ以上のグラフにおいて、1つの新しいデータポイントあたり平均7ms未満の処理時間を達成し、リアルタイム導入が可能である。
• iECT（到達時間によるインクリメンタルCTD）は、NICTAネットワークデータセットで100％の再現率と84.6％の精度を達成し、iLEDを上回る再現率を示したが、精度は妥当な水準を維持した。
• 合成データセットではiLEDは100％の精度を達成したが、再現率は66.7％にとどまり、異常に対するCTDを低く見積もる傾向があることが示された。
• NICTAデータセットでは、iECTの平均異常スコアはバッチ手法よりも2％高かったが、iLEDは2％低かった。これは、iECTがやや非異常を過大評価している可能性を示唆している。
• NICTAデータセットでは、iLEDは27.3％の再現率と100％の精度を示したが、iECTは100％の再現率と84.6％の精度を達成した。両手法の相補的な強みが確認された。
• 結果から、iECTはより高速で異常検出に効果的である一方、iLEDはより慎重な特性を示しており、両手法をハイブリッドに統合することで全体の検出精度を向上させられる可能性がある。