[论文解读] gSketch: On Query Estimation in Graph Streams

Peixiang Zhao, Charų C. Aggarwal+1 more|arXiv (Cornell University)|Nov 30, 2011

Graph Theory and Algorithms参考文献 25被引用 14

一句话总结

gSketch 通过利用局部结构特性与顶点特定统计信息，提出了一种用于大规模动态图流中高效查询估计的草图划分方法。与全局草图相比，该方法显著降低了估计误差，有时可降低一个数量级，尤其在内存受限和工作负载偏斜的情况下表现更优。

ABSTRACT

Many dynamic applications are built upon large network infrastructures, such as social networks, communication networks, biological networks and the Web. Such applications create data that can be naturally modeled as graph streams, in which edges of the underlying graph are received and updated sequentially in a form of a stream. It is often necessary and important to summarize the behavior of graph streams in order to enable effective query processing. However, the sheer size and dynamic nature of graph streams present an enormous challenge to existing graph management techniques. In this paper, we propose a new graph sketch method, gSketch, which combines well studied synopses for traditional data streams with a sketch partitioning technique, to estimate and optimize the responses to basic queries on graph streams. We consider two different scenarios for query estimation: (1) A graph stream sample is available; (2) Both a graph stream sample and a query workload sample are available. Algorithms for different scenarios are designed respectively by partitioning a global sketch to a group of localized sketches in order to optimize the query estimation accuracy. We perform extensive experimental studies on both real and synthetic data sets and demonstrate the power and robustness of gSketch in comparison with the state-of-the-art global sketch method.

研究动机与目标

• 解决在大规模、动态更新的图流中实现高效且准确的查询估计的挑战。
• 克服全局草图方法的局限性，这些方法未能考虑边频率中的结构偏斜。
• 设计一种能够适应局部图结构和查询工作负载以提升准确性的方法。
• 确保在演化图流中新增顶点和边时仍具备鲁棒性。

提出的方法

• gSketch 基于图流的顶点特定统计信息与结构特性，将全局草图划分为局部草图。
• 它使用粗粒度且易于计算的顶点统计信息来指导划分过程，从而提升估计准确性。
• 该方法支持两种场景：仅使用图流样本，或同时使用图和查询工作负载样本。
• 它为高频边专门设置了一个异常值草图，以最小化碰撞相关误差。
• 查询处理速度快，且基本不受分配内存大小的影响，从而实现实时性能。
• 草图划分设计轻量化，构建时间开销极小。

实验结果

研究问题

• RQ1 基于局部图结构的草图划分是否能提升图流中的查询估计准确性？
• RQ2 在内存受限条件下，gSketch 相较于全局草图的性能如何？
• RQ3 引入查询工作负载样本是否能进一步提升估计准确性？
• RQ4 gSketch 对图流中新增顶点和边的鲁棒性如何？
• RQ5 工作负载偏斜对 gSketch 的估计性能有何影响？

主要发现

• 与全局草图相比，gSketch 将平均相对误差降低了最多一个数量级，尤其在内存受限条件下表现更优。
• 在 GTGraph 数据集上，gSketch 在 2GB 内存下实现了 0.7257 的平均相对误差，而异常值草图为 0.7837，表明性能退化极小。
• 引入查询工作负载样本显著提升了估计准确性，尤其在工作负载偏斜时效果更明显。
• 草图划分与构建时间开销微小，无论内存分配大小如何，均可实现快速查询处理。
• 即使在新增顶点和边的情况下，gSketch 仍能保持稳健性能，因为异常值草图能有效处理高频边且不增加误差。
• 该方法具有可扩展性和高效性，查询处理时间基本不受内存大小影响。