[論文レビュー] Time Constrained Continuous Subgraph Search over Streaming Graphs

Youhuan Li, Lei Zou+2 more|arXiv (Cornell University)|Jan 28, 2018

Graph Theory and Algorithms参考文献 13被引用数 3

ひとこと要約

本稿では、時刻順序制約を伴うストリーミンググラフ上で連続的な部分グラフ同型写像検索を効率的に行うための新規システムを提案する。分解に基づく展開リストとMSツリーを用いることで、メモリ消費を削減し、スループットを向上させる。最先端の手法と比較して最大10倍の高いスループットを達成し、顕著に低いメモリコストを実現。並列処理の有効な管理と、ネットワークトラフィックにおけるC&Cサーバー通信パターンのリアルタイム検出が可能である。

ABSTRACT

The growing popularity of dynamic applications such as social networks provides a promising way to detect valuable information in real time. Efficient analysis over high-speed data from dynamic applications is of great significance. Data from these dynamic applications can be easily modeled as streaming graph. In this paper, we study the subgraph (isomorphism) search over streaming graph data that obeys timing order constraints over the occurrence of edges in the stream. We propose a data structure and algorithm to efficiently answer subgraph search and introduce optimizations to greatly reduce the space cost, and propose concurrency management to improve system throughput. Extensive experiments on real network traffic data and synthetic social streaming data confirms the efficiency and effectiveness of our solution.

研究の動機と目的

• 高スループットのストリーミンググラフデータに対して、エッジ間の厳密な時刻順序制約を満たす部分グラフ同型写像検索を効率的に行う課題に対処する。
• 動的グラフにおける連続的部分グラフマッチングの過程で部分一致を維持する際の高いメモリおよび計算コストを低減する。
• ストリーミングデータ上の部分グラフマッチングにおける並列処理を効果的に行うことで、システムのスループットを向上させる。
• ネットワークおよびソーシャルストリーミングデータにおける複雑な攻撃パターン（例：C&C通信、不正行為）のリアルタイム検出を可能にする。
• 従来の近似法やシミュレーションベースの手法とは異なり、時間制約を伴う正確な部分グラフ同型写像ソリューションを提供する。

提案手法

• 部分一致を効率的に管理できるように、クエリグラフをより小さな時間制約付き部分クエリ（TCサブクエリ）に分解する戦略を提案する。
• ストリームに入力される新しいエッジに応じて、部分一致を段階的に維持・更新できる展開リストデータ構造を導入する。
• 部分一致状態を圧縮・インデックス化することで、大幅にメモリオーバーヘッドを削減するMSツリー（メモリ最適化検索ツリー）を設計する。
• 複数のサブクエリマッチングを並列処理可能にするための並列処理管理を実装し、システムスループットを向上させる。
• 分解に基づくジョイン順序戦略を適用し、中間部分一致の数を最小限に抑えて計算コストを低減する。
• タイムスタンプに基づく pruning と時間制約検証を用いて、エッジの順序を尊重する正当な一致のみを保持する。

実験結果

リサーチクエスチョン

• RQ1 高スループットのストリーミンググラフ上で、時刻順序制約を伴う部分グラフ同型写像をどのように効率的に維持できるか？
• RQ2 部分一致の数を最小限に抑えつつ正しさを保ち、計算を効率的に行える分解戦略は何か？
• RQ3 ストリーミンググラフ上の連続的部分グラフマッチングにおいて、パフォーマンスを損なわずにメモリ使用量をどのように低減できるか？
• RQ4 動的グラフ上でリアルタイム部分グラフマッチングを高速に行うために、どのような並列制御メカニズムが有効か？
• RQ5 提案されたシステムは、実際のネットワークトラフィックにおいて、実世界の攻撃パターン（例：C&C通信）を高い正確性と低遅延で検出できるか？

主な発見

• 提案手法は、実データおよび合成ストリーミンググラフワークロードにおいて、既存の最先端手法と比較して最大10倍の高いスループットを達成した。
• MSツリーは、分解サイズ（k）が増加しても、メモリコストを顕著に低減し、そのメモリ効率性が裏付けられた。
• 分解サイズ（k）が増加するにつれてスループットが低下する傾向を確認した。これは、設計上期待される通り、kが小さいほど性能が優れていることを裏付けた。
• 実際のネットワークトラフィックにおいて、ZeuSボットネットのC&C通信パターンを正しく検出（2017年11月28日付で一致が発生）し、実用的応用の有効性を検証した。
• すべてのテストワークロード（ネットワークフロー、ソーシャルストリーム、wiki-talk）において、スループットとメモリ効率の両面で代替手法を上回った。特にウィンドウサイズが大きい場合に顕著であった。
• クエリサイズが大きくなると結果の選択性が低下するが、ウィンドウサイズが大きくなると選択性が上昇する傾向を確認した。これは、パターンの複雑さと検出可能性の間の期待されるトレードオフを反映している。