[论文解读] Graph Sample and Hold: A Framework for Big-Graph Analytics

Nesreen K. Ahmed, Nick Duffield+2 more|arXiv (Cornell University)|Mar 16, 2014

Complex Network Analysis Techniques参考文献 43被引用 38

一句话总结

本文提出 Graph Sample and Hold (gSH)，一种用于大规模图分析的单遍流式框架，通过维护一个小型采样子状态，实现对多种图属性的无偏估计。通过使用基于边特定采样概率的 Horvitz-Thompson 估计方法，gSH 在采样边数少于 40,000 条的现实世界图上实现了 0.02%–0.95% 的低相对误差，其准确性和存储效率均优于现有方法。

ABSTRACT

Sampling is a standard approach in big-graph analytics; the goal is to efficiently estimate the graph properties by consulting a sample of the whole population. A perfect sample is assumed to mirror every property of the whole population. Unfortunately, such a perfect sample is hard to collect in complex populations such as graphs (e.g. web graphs, social networks etc), where an underlying network connects the units of the population. Therefore, a good sample will be representative in the sense that graph properties of interest can be estimated with a known degree of accuracy. While previous work focused particularly on sampling schemes used to estimate certain graph properties (e.g. triangle count), much less is known for the case when we need to estimate various graph properties with the same sampling scheme. In this paper, we propose a generic stream sampling framework for big-graph analytics, called Graph Sample and Hold (gSH). To begin, the proposed framework samples from massive graphs sequentially in a single pass, one edge at a time, while maintaining a small state. We then show how to produce unbiased estimators for various graph properties from the sample. Given that the graph analysis algorithms will run on a sample instead of the whole population, the runtime complexity of these algorithm is kept under control. Moreover, given that the estimators of graph properties are unbiased, the approximation error is kept under control. Finally, we show the performance of the proposed framework (gSH) on various types of graphs, such as social graphs, among others.

研究动机与目标

• 解决在计算资源有限的情况下，对大规模图中多种图属性进行高效估计的挑战。
• 设计一种通用的采样框架，通过维护一个小型、动态更新的采样子集，支持对多样化图属性的无偏估计。
• 确保图度量（如三角形计数、节点度数和子图频率）的估计具有可证明的方差界和置信区间。
• 在真实世界图（如社交网络和网页网络）中，相比现有流式算法，在估计准确性和存储效率方面均表现更优。
• 在动态或静态流式环境中，支持可扩展、可并行计算的无偏估计器，用于图分析。

提出的方法

• gSH 以单遍顺序处理边，维护一个小型状态，记录已采样的边及其各自的采样概率。
• 该框架采用参数化采样规则：若某条边无相邻已采样边，则以概率 $p$ 被采样；否则以概率 $q$ 被采样，从而实现对采样子集组成的控制。
• 通过 Horvitz-Thompson 加权方法构建图属性的无偏估计器，其中每个已采样子图的贡献按其联合边选择概率的倒数进行缩放。
• 估计器的方差可直接从所选边的采样概率计算得出，无需额外存储即可实现置信区间估计。
• 该框架支持方差估计器的并行计算，显著降低大规模图的运行时间。
• 采样策略可调节，以偏向高阶节点或实现均匀节点采样，从而实现对节点级三角形计数等属性的针对性估计。

实验结果

研究问题

• RQ1 是否能够通过单遍流式采样框架，在极小存储开销下，为多种图属性提供无偏估计？
• RQ2 采样参数 $p$ 和 $q$ 的选择如何影响现实世界图中采样子集的代表性与大小？
• RQ3 与最先进的流式算法（如 Streaming-Triangles）相比，gSH 在估计误差方面能降低多少？
• RQ4 gSH 是否能在采样边数少于总边数 1% 的情况下，保持低于 1% 的相对误差？
• RQ5 在 gSH 框架中，方差估计器与置信区间能否高效地实现并行计算？

主要发现

• 在真实世界图（包括 Facebook 图和网页图）上，gSH 使用最多 40,000 条边的采样子集，实现了 0.02% 至 0.95% 的相对估计误差。
• 该框架为四种关键图属性——三角形计数、节点度数和子图频率——生成了无偏估计器，其方差估计器直接基于采样概率计算得出。
• 与专门针对三角形计数优化的 Streaming-Triangles 算法相比，gSH 将相对误差降低了数量级。
• gSH 的存储开销显著低于 Streaming-Triangles 算法，后者为获得准确结果需维护超过 128,000 个边估计器。
• 采样分布围绕真实值呈中心对称，且随着样本规模增大，误差持续减小。
• gSH 中方差计算的并行化显著降低了运行时间，使大规模图的可扩展部署成为可能。