[論文レビュー] A Selectivity based approach to Continuous Pattern Detection in Streaming Graphs

Sutanay Choudhury, Lawrence B. Holder+3 more|arXiv (Cornell University)|Jan 1, 2015

Graph Theory and Algorithms参考文献 11被引用数 9

ひとこと要約

本稿では、ストリーミンググラフにおける連続的サブグラフパターン検出のための選択性駆動型で遅延のある検索アルゴリズムを提案する。2-edgeサブグラフの分布統計を活用してクエリ処理をガイドする。相対的選択性（Relative Selectivity）を導入し、経路ベースか単一頂点ベースの検索戦略を動的に選択することで、実際のネットワークトラフィックおよびソーシャルメディアのデータストリームにおいて、選択性に依存しない手法と比較して10–100倍の高速化を達成した。

ABSTRACT

Cyber security is one of the most significant technical challenges in current times. Detecting adversarial activities, prevention of theft of intellectual properties and customer data is a high priority for corporations and government agencies around the world. Cyber defenders need to analyze massive-scale, high-resolution network flows to identify, categorize, and mitigate attacks involving networks spanning institutional and national boundaries. Many of the cyber attacks can be described as subgraph patterns, with prominent examples being insider infiltrations (path queries), denial of service (parallel paths) and malicious spreads (tree queries). This motivates us to explore subgraph matching on streaming graphs in a continuous setting. The novelty of our work lies in using the subgraph distributional statistics collected from the streaming graph to determine the query processing strategy. We introduce a "Lazy Search" algorithm where the search strategy is decided on a vertex-to-vertex basis depending on the likelihood of a match in the vertex neighborhood. We also propose a metric named "Relative Selectivity" that is used to select between different query processing strategies. Our experiments performed on real online news, network traffic stream and a synthetic social network benchmark demonstrate 10-100x speedups over selectivity agnostic approaches.

研究の動機と目的

• サイバーセキュリティやソーシャルメディアで一般的な高スルーレートで変化するストリーミンググラフにおけるリアルタイムのサブグラフパターン検出の課題に対処すること。
• 進化するグラフにおける周期的またはブルートフォースなサブグラフマッチングの非効率性を、サブグラフ分布の偏りを活用することで克服すること。
• 統計的選択性指標を用いて、パターンマッチの可能性に応じて動的にクエリ処理戦略を適応させること。
• 検出のための計算オーバーヘッドを低減し、グラフ内の高確率領域に焦点を当てた検索を実現することで、継続的パターン検出の効率を向上させること。
• 大規模なストリーミンググラフにおけるリアルタイムの状況把握を可能にする、実用的で導入可能な分散システムフレームワークを提供すること。

提案手法

• 本手法は、各頂点ごとにその近傍におけるマッチの可能性に基づき、検索戦略を動的に決定する「遅延検索（Lazy Search）」アルゴリズムを導入する。
• サブグラフ分布統計に基づき、『経路ベースの遅延検索（PathLazy）』と『単一頂点ベースの遅延検索（SingleLazy）』の2つのクエリ処理戦略を比較・選択するための指標として『相対的選択性』を用いる。
• クエリを2-edgeサブグラフに分解し、ストリーミンググラフ内での頻度を推定することで、検索の優先順位を決定する。
• 部分的なマッチを段階的に格納・更新できるSJ-Treeを維持することで、グラフの進化に伴う重複計算を削減する。
• サブグラフ同型判定とSJ-Tree操作のプロファイリングにより、性能ボトルネックを特定し、同型判定が処理時間の95％以上を占めていることが判明した。
• 経験的分布解析に基づき、相対的選択性が0.001未満のクエリには『PathLazy』、それ以外には『SingleLazy』を採用するヒューリスティックを提案する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのストリーミンググラフワークロードにおけるサブグラフパターン検出を、どのように効率的かつスケーラブルに実現できるか？
• RQ2 2-edgeサブグラフの分布が、効果的なクエリ処理戦略を導く上で果たす役割は何か？
• RQ3 相対的選択性は、継続的パターン検出における最適な検索戦略を動的に選択する信頼性のある指標として利用可能か？
• RQ4 大規模なストリーミンググラフにおいて、遅延検索の性能は、VF2のような従来の非インクリメンタルなアプローチと比べてどう異なるか？
• RQ5 クエリ構造（例：経路 vs. 木）およびデータ特性が、選択性ベースの最適化の有効性に与える影響は何か？

主な発見

• 『PathLazy』および『SingleLazy』戦略は、実世界のnetflowおよびLSBenchデータセットにおいて、選択性に依存しない手法（例：VF2）と比較して10–100倍の高速化を達成した。
• サブグラフ同型判定処理が、合計処理時間の95％以上を占めており、このフェーズの最適化が極めて重要であることが示された。
• 相対的選択性値には明確な2つのクラスタが存在し、一方は0.001以上、もう一方はそれより数個桁低い値を示しており、戦略選択のためのデータ駆動型ヒューリスティックの構築が可能になった。
• netflowデータセットでは『PathLazy』戦略が他の戦略を上回った。これは、経路の分布選択性が低く、サブグラフ頻度の偏りが顕著であったためである。
• 処理時間の増加が非インクリメンタル手法と比較して著しく遅やかになる傾向が、特に直径4–5の大きなクエリで顕著に観察された。
• 経験的結果から、高選択性領域に検索を制限することで、重複計算が顕著に削減され、スケーラビリティが向上することが確認された。