[论文解读] Catching the head, tail, and everything in between: a streaming algorithm for the degree distribution

Olivia Simpson, C. Seshadhri+1 more|arXiv (Cornell University)|Jun 8, 2015

Complex Network Analysis Techniques参考文献 32被引用 6

一句话总结

本文提出 headtail，一种流式算法，通过次线性存储空间精确估计大规模图的互补累积度分布直方图（ccdh）。通过结合均匀顶点采样（用于频繁度数）与基于截断几何随机变量的新型估计器（用于稀有、高阶度顶点），headtail 在所有度数尺度上均实现了高精度——仅使用小于 1% 流数据大小的存储空间，相对 Hausdorff 距离（RH）小于 0.1，优于现有方法，即使在显著更多内存下亦如此。

ABSTRACT

The degree distribution is one of the most fundamental graph properties of interest for real-world graphs. It has been widely observed in numerous domains that graphs typically have a tailed or scale-free degree distribution. While the average degree is usually quite small, the variance is quite high and there are vertices with degrees at all scales. We focus on the problem of approximating the degree distribution of a large streaming graph, with small storage. We design an algorithm headtail, whose main novelty is a new estimator of infrequent degrees using truncated geometric random variables. We give a mathematical analysis of headtail and show that it has excellent behavior in practice. We can process streams will millions of edges with storage less than 1% and get extremely accurate approximations for all scales in the degree distribution. We also introduce a new notion of Relative Hausdorff distance between tailed histograms. Existing notions of distances between distributions are not suitable, since they ignore infrequent degrees in the tail. The Relative Hausdorff distance measures deviations at all scales, and is a more suitable distance for comparing degree distributions. By tracking this new measure, we are able to give strong empirical evidence of the convergence of headtail.

研究动机与目标

• 设计一种小空间、单遍扫描的流式算法，以在所有度数尺度上精确估计大规模图的度分布。
• 解决在有限存储条件下，对频繁的低度数顶点与稀有的高度数顶点实现统一精度估计的挑战。
• 提出一种新的距离度量——相对 Hausdorff 距离，适用于比较具有尾部或重尾特征的度分布。
• 通过不同流顺序和真实图工作负载，实证验证算法的收敛性与鲁棒性。

提出的方法

• 算法对低于阈值 $d_{\text{thr}}$ 的度数采用均匀顶点采样，利用低度数顶点丰富且易于采样的特性。
• 对高于 $d_{\text{thr}}$ 的度数，采用基于截断几何随机变量的新型估计器，以高效估计稀少的高度数计数。
• 引入相对 Hausdorff 距离作为新度量，用于量化度分布中的偏差，尤其适用于重尾区域。
• 通过动态调节采样概率 $p_h$ 和 $p_t$，在度数谱范围内平衡内存使用与估计精度。
• 通过固定公式确定 $d_{\text{thr}}$，将头尾估计器组合，避免对每个数据集进行昂贵的交叉验证或调参。
• 使用不同规模和度分布的真实图（as-Skitter、com-LiveJournal、com-Orkut）对方法进行评估。

实验结果

研究问题

• RQ1 单一流式算法能否在极小存储空间下，实现对所有尺度（低、中、高度数）度分布的高精度估计？
• RQ2 在内存受限的流式环境中，如何准确估计稀少的高度数顶点？
• RQ3 相对 Hausdorff 距离是否比标准分布距离更适合用于比较重尾度分布？
• RQ4 算法性能在不同边流顺序（包括对抗性或结构化顺序）下是否保持鲁棒？
• RQ5 即使在使用显著更多内存的情况下，headtail 是否仍能优于现有算法的混合组合（如头估计器 + 常见、空间节省、有损计数）？

主要发现

• 在包含 1100 万条边、170 万顶点的 as-Skitter 图上，headtail 仅使用 31KB 存储空间，相对 Hausdorff（RH）距离即低于 0.1。
• 在 31KB 存储空间下，headtail 超越了将头估计器与其他算法（如常见、空间节省、有损计数）组合的混合方法，后者需超过 150KB 才能达到相近的 RH 距离。
• headtail 的 RH 距离在不同流顺序下保持稳定，标准差仅为 0.009，表明对输入顺序具有强鲁棒性。
• 即使将竞争性混合方法的存储空间提高至 50KB 并采用最优阈值选择，其 RH 距离仍分别为 0.33（常见）、0.5（空间节省）和 1.5（有损计数），显著劣于 headtail 的 0.1。
• 如真实图上的可视化对比所示，headtail 对 ccdh 的估计值在所有度数尺度上均与真实值高度吻合，且存储空间不足 1%。
• 使用截断几何随机变量使稀有高度数顶点的估计更加精确，而无需显式追踪每个顶点的度数。