[論文レビュー] gSketch: On Query Estimation in Graph Streams

Peixiang Zhao, Charų C. Aggarwal+1 more|arXiv (Cornell University)|Nov 30, 2011

Graph Theory and Algorithms参考文献 25被引用数 14

ひとこと要約

gSketchは、局所的な構造的性質と頂点固有の統計情報を活用することで、大規模で動的変化するグラフストリームにおける効率的な照会推定のためのスケッチ分割手法を提案する。グローバルスケッチと比較して推定誤差を低減し、特にメモリ制約や歪んだワークロード下でも、誤差を1桁分まで低減する。

ABSTRACT

Many dynamic applications are built upon large network infrastructures, such as social networks, communication networks, biological networks and the Web. Such applications create data that can be naturally modeled as graph streams, in which edges of the underlying graph are received and updated sequentially in a form of a stream. It is often necessary and important to summarize the behavior of graph streams in order to enable effective query processing. However, the sheer size and dynamic nature of graph streams present an enormous challenge to existing graph management techniques. In this paper, we propose a new graph sketch method, gSketch, which combines well studied synopses for traditional data streams with a sketch partitioning technique, to estimate and optimize the responses to basic queries on graph streams. We consider two different scenarios for query estimation: (1) A graph stream sample is available; (2) Both a graph stream sample and a query workload sample are available. Algorithms for different scenarios are designed respectively by partitioning a global sketch to a group of localized sketches in order to optimize the query estimation accuracy. We perform extensive experimental studies on both real and synthetic data sets and demonstrate the power and robustness of gSketch in comparison with the state-of-the-art global sketch method.

研究の動機と目的

• 大規模で動的に更新されるグラフストリームにおける効率的かつ正確な照会推定の課題に対処すること。
• エッジ頻度の構造的歪みを考慮しないグローバルスケッチ手法の限界を克服すること。
• 局所的グラフ構造と照会ワークロードに適応する手法を設計し、精度を向上させること。
• 進化するグラフストリームにおける新規頂点およびエッジの到着に対しても頑健性を確保すること。

提案手法

• gSketchは、グラフストリームの頂点固有の統計情報と構造的性質に基づいて、グローバルスケッチを局所的スケッチに分割する。
• 推定精度を向上させるために、粗いが容易に計算可能な頂点統計情報を分割プロセスのガイドとして用いる。
• 2通りのシナリオをサポートする：グラフストリームのサンプルのみを使用する場合、またはグラフと照問ワークロードの両方のサンプルを使用する場合。
• 衝突に起因する誤差を最小限に抑えるために、高頻度エッジのための専用のアウリヤースケッチを採用する。
• 照問処理は高速であり、割り当てられたメモリサイズにほとんど依存しないため、リアルタイム性能が実現できる。
• スケッチの分割は軽量であり、構築時間に最小限のオーバーヘッドをもたらす。

実験結果

リサーチクエスチョン

• RQ1 局所的グラフ構造に基づくスケッチ分割は、グラフストリームにおける照問推定精度を向上させ得るか？
• RQ2 メモリ制約下でgSketchはグローバルスケッチと比較してどの程度の性能を示すか？
• RQ3 照問ワークロードのサンプルを組み込むことで、推定精度がさらに向上するか？
• RQ4 gSketchは、グラフストリームに新規頂点およびエッジが到着してもどの程度の頑健性を示すか？
• RQ5 ワークロードの歪みがgSketchの推定性能に与える影響は何か？

主な発見

• gSketchは、グローバルスケッチと比較して平均相対誤差を最大1桁分まで低減するが、特にメモリ制約下で顕著である。
• GTGraphデータセットでは、2GBのメモリ使用時、gSketchの平均相対誤差は0.7257であったのに対し、アウリヤースケッチでは0.7837であり、劣化は最小限に抑えられた。
• 照問ワークロードのサンプルを組み込むことで推定精度が顕著に向上し、特にワークロードが歪んでいる場合に顕著である。
• スケッチの分割と構築時間はほとんど無視できるほど小さく、メモリ割り当てにかかわらず高速な照問処理が可能である。
• 新規頂点およびエッジの到着に対してもgSketchは頑健な性能を維持する。アウリヤースケッチが高頻度エッジを効果的に処理するため、誤差は増加しない。
• 本手法はスケーラブルで効率的であり、照問処理時間はメモリサイズにほとんど依存しない。