[論文レビュー] Fast Memory-efficient Anomaly Detection in Streaming Heterogeneous Graphs

Emaad Manzoor, Sadegh Momeni+2 more|arXiv (Cornell University)|Feb 15, 2016

Network Security and Intrusion Detection参考文献 32被引用数 5

ひとこと要約

StreamSpot は、シャインリングに基づく類似度関数とスケッチ技術を用いる、異種グラフ向けのストリーミングでメモリ効率の良い異常検出システムであり、定数時間の更新と限定されたメモリを実現することで、リアルタイムのクラスタリングと異常スコアリングを可能にしている。システムコールフローグラフにおいては 95% を超える検出精度を達成しながら、1 秒あたり 100,000 本以上のエッジを処理している。

ABSTRACT

Given a stream of heterogeneous graphs containing different types of nodes and edges, how can we spot anomalous ones in real-time while consuming bounded memory? This problem is motivated by and generalizes from its application in security to host-level advanced persistent threat (APT) detection. We propose StreamSpot, a clustering based anomaly detection approach that addresses challenges in two key fronts: (1) heterogeneity, and (2) streaming nature. We introduce a new similarity function for heterogeneous graphs that compares two graphs based on their relative frequency of local substructures, represented as short strings. This function lends itself to a vector representation of a graph, which is (a) fast to compute, and (b) amenable to a sketched version with bounded size that preserves similarity. StreamSpot exhibits desirable properties that a streaming application requires---it is (i) fully-streaming; processing the stream one edge at a time as it arrives, (ii) memory-efficient; requiring constant space for the sketches and the clustering, (iii) fast; taking constant time to update the graph sketches and the cluster summaries that can process over 100K edges per second, and (iv) online; scoring and flagging anomalies in real time. Experiments on datasets containing simulated system-call flow graphs from normal browser activity and various attack scenarios (ground truth) show that our proposed StreamSpot is high-performance; achieving above 95% detection accuracy with small delay, as well as competitive time and memory usage.

研究の動機と目的

• 継続的なタイプ付きエッジストリームからリアルタイムで異常な異種グラフを検出する課題に対処すること。
• 高速度のグラフストリームを処理する際、メモリ使用量を常に制限する方法を設計すること。
• バッチ処理やグローバルなグラフスナップショットを必要とせずに、オンラインで段階的に異常を検出できること。
• 低遅延と高精度が重要なホストレベルの APT 検出などのアプリケーションを支援すること。
• セキュリティ分野を超えて、タイプ付きグラフストリームのスケーラブルでリアルタイムのクラスタリングを必要とする他の分野へ一般化できること。

提案手法

• 短い文字列として表現された局所的な部分構造の相対的頻度に基づいて、グラフ同士の類似度を比較する新しいシャインリングベースの類似度関数を提案する。
• グラフ表現を固定サイズの要約に圧縮しながら類似度を保持するスケッチ技術である StreamHash を導入する。
• 新しいエッジが到着するたびに段階的に更新される重心ベースのクラスタリング方式を採用し、オンラインでの異常スコアリングを実現する。
• 到着する各エッジに対して、グラフスケッチとクラスタ要約を定数時間で更新することで、高いスループットを確保する。
• マージ可能なスケッチ要約を用いることで、完全にストリーミング形式で効率的なクラスタリングと異常検出を実現する。
• スナップショット処理を避けるために、エッジ単位で連続的にエッジを処理する。

実験結果

リサーチクエスチョン

• RQ1 限定されたメモリを前提としたストリーミング環境で、異種グラフ同士の類似度を効率的に計算する方法は何か？
• RQ2 定数メモリでグラフの類似度を保持できるスケッチ手法を設計できるか？
• RQ3 新しいエッジが到着するたびに、リアルタイムでクラスタリングと異常検出を維持する方法は何か？
• RQ4 実世界のストリーミング環境下で、精度、遅延、メモリ使用量という観点から、このシステムの性能はどの程度か？
• RQ5 APT 検出を越えて、他のストリーミンググラフ異常検出タスクにも一般化可能か？

主な発見

• StreamSpot は、真の攻撃シナリオが明示されたシミュレーテッドシステムコールフローグラフにおいて 95% を超える検出精度を達成した。
• システムは 1 秒あたり 100,000 本以上のエッジを処理しており、高いスループットと低遅延を実現している。
• メモリ使用量は常に限定的で一定であり、ストリームの長さに関係なくスケッチとクラスタ要約が固定された領域を消費する。
• 厳しいメモリ制約下でも、精度と速度を維持したまま高いパフォーマンスを発揮する。
• スケッチ技術により類似度を保持する圧縮が可能となり、リアルタイムのクラスタリングが現実可能になった。
• 時間的順序と異種のノード/エッジタイプを持つ進化するタイプ付きグラフにおける異常検出に、このアプローチは有効である。