[論文レビュー] Real-Time Streaming Anomaly Detection in Dynamic Graphs

Siddharth Bhatia, Rui Liu+4 more|arXiv (Cornell University)|Sep 17, 2020

Network Security and Intrusion Detection参考文献 46被引用数 6

ひとこと要約

MIDAS-F は、動的グラフストリームにおけるマイクロクラスタ異常（例：サービス拒否攻撃に見られるような、極めて類似したエッジの群）をリアルタイムで検出する、定常時間および定常メモリのアルゴリズムである。MIDAS に比べ、異常スコア関数の変更と条件付きマージステップにより『汚染』効果を低減し、最先端手法と比較して AUC-ROC の精度が 41% から 55% 高い結果を得るとともに、データ処理速度が 130 から 929 倍速くなっている。

ABSTRACT

Given a stream of graph edges from a dynamic graph, how can we assign anomaly scores to edges in an online manner, for the purpose of detecting unusual behavior, using constant time and memory? Existing approaches aim to detect individually surprising edges. In this work, we propose MIDAS, which focuses on detecting microcluster anomalies, or suddenly arriving groups of suspiciously similar edges, such as lockstep behavior, including denial of service attacks in network traffic data. We further propose MIDAS-F, to solve the problem by which anomalies are incorporated into the algorithm's internal states, creating a 'poisoning' effect which can allow future anomalies to slip through undetected. MIDAS-F introduces two modifications: 1) We modify the anomaly scoring function, aiming to reduce the 'poisoning' effect of newly arriving edges; 2) We introduce a conditional merge step, which updates the algorithm's data structures after each time tick, but only if the anomaly score is below a threshold value, also to reduce the `poisoning' effect. Experiments show that MIDAS-F has significantly higher accuracy than MIDAS. MIDAS has the following properties: (a) it detects microcluster anomalies while providing theoretical guarantees about its false positive probability; (b) it is online, thus processing each edge in constant time and constant memory, and also processes the data 130 to 929 times faster than state-of-the-art approaches; (c) it provides 41% to 55% higher accuracy (in terms of ROC-AUC) than state-of-the-art approaches.

研究の動機と目的

• ネットワークトラフィックにおけるサービス拒否攻撃で観察されるような、急激に出現する類似エッジの群（マイクロクラスタ異常）を検出すること。
• 各エッジを定常時間および定常メモリで処理できるオンラインアルゴリズムを設計し、リアルタイムでのスケーラビリティを実現すること。
• 異常エッジがアルゴリズムの内部状態を汚染することで将来の検出性能が低下する『汚染』効果を軽減すること。
• 高速処理を維持しつつ、既存手法よりも検出精度を向上させることを目的とする、動的グラフストリームにおける処理性能の向上。

提案手法

• MIDAS-F は、新規に到着する異常エッジがアルゴリズムの内部状態に与える影響を低減するように、異常スコア関数を変更している。
• 異常スコアが事前に定義されたしきい値未満である場合にのみデータ構造を更新する条件付きマージステップを導入し、異常信号の拡散を最小限に抑える。
• 誤検出確率に関する理論的保証を維持しており、異常検出における信頼性を確保している。
• オンライン処理を実現しており、各エッジを定常時間かつ定常メモリで処理するため、高スルーレートのストリーム処理が可能である。
• エッジの更新を逐次処理するストリーミングモデルを活用し、異常スコアを段階的に計算する。
• 個々の驚異的なエッジではなく、類似したエッジのクラスタを検出することに焦点を当てており、集団的な不審な挙動を捉える。

実験結果

リサーチクエスチョン

• RQ1 定常時間および定常メモリの複雑度を維持しつつ、理論的誤検出確率保証のもとで、動的グラフストリームにおけるマイクロクラスタ異常を検出可能か？
• RQ2 異常エッジの『汚染』効果が時間経過とともに検出性能をどの程度低下させるか、そしてオンライン環境において効果的に緩和可能か？
• RQ3 MIDAS-F におけるスコア関数の変更および条件付きマージステップは、MIDAS や最先端手法と比較して、検出精度をどの程度向上させるか？
• RQ4 実世界のグラフストリームワークロードを処理する際、MIDAS-F の処理速度および精度はどの程度スケーリングするか？

主な発見

• MIDAS-F は、動的グラフストリームデータに対して、最先端手法と比較して AUC-ROC の精度が 41% から 55% 高い結果を達成した。
• 定常時間および定常メモリ設計のおかげで、既存の最先端手法と比較して、データ処理速度が 130 から 929 倍速くなった。
• MIDAS-F における条件付きマージステップおよび変更された異常スコア関数は、『汚染』効果を顕著に低減し、長期的な検出信頼性を向上させた。
• MIDAS-F は誤検出確率に関する理論的保証を維持しており、異常検出における堅牢性を確保している。
• ロックステップ行動などのマイクロクラスタ異常を、ネットワークトラフィックにおいて効果的に検出できた。
• MIDAS-F は MIDAS よりも精度が高く、リアルタイムストリーミング環境における抗汚染メカニズムの有効性を実証した。