[论文解读] All-Distances Sketches, Revisited: Scalable Estimation of the Distance Distribution and Centralities in Massive Graphs

Edith Cohen|arXiv (Cornell University)|Jun 14, 2013

Data Management and Algorithms参考文献 22被引用 7

一句话总结

本文提出了历史逆概率（HIP）估计器用于全距离图 Sketch（ADS），实现了在大规模图中对距离相关图统计量的高精度、无偏且低方差的估计。与先前估计器相比，HIP 将方差降低了多达一半，并提升了 HyperLogLog MinHash Sketch 中的估计质量，为中心性与邻域基数计算提供了一个统一且可扩展的框架。

ABSTRACT

Graph datasets with billions of edges, such as social and Web graphs, are prevalent, and scalable computation is critical. All-distances sketches (ADS) [Cohen 1997], are a powerful tool for scalable approximation of statistics. The sketch is a small size sample of the distance relation of a node which emphasizes closer nodes. Sketches for all nodes are computed using a nearly linear computation and estimators are applied to sketches of nodes to estimate their properties. We provide, for the first time, a unified exposition of ADS algorithms and applications. We present the Historic Inverse Probability (HIP) estimators which are applied to the ADS of a node to estimate a large natural class of statistics. For the important special cases of neighborhood cardinalities (the number of nodes within some query distance) and closeness centralities, HIP estimators have at most half the variance of previous estimators and we show that this is essentially optimal. Moreover, HIP obtains a polynomial improvement for more general statistics and the estimators are simple, flexible, unbiased, and elegant. For approximate distinct counting on data streams, HIP outperforms the original estimators for the HyperLogLog MinHash sketches (Flajolet et al. 2007), obtaining significantly improved estimation quality for this state-of-the-art practical algorithm.

研究动机与目标

• 提供全距离图 Sketch（ADS）算法及其在大规模图分析中应用的统一阐述。
• 解决大规模图中距离相关统计量缺乏低方差、无偏估计器的问题。
• 提升邻域基数与接近中心性等关键图中心性分析指标的估计精度。
• 通过通用且灵活的估计器框架，将 ADS 的适用范围扩展至广泛类别的图统计量。
• 提升数据流中近似去重计数的性能，特别是针对 HyperLogLog MinHash Sketch。

提出的方法

• 提出历史逆概率（HIP）估计器，利用历史采样概率降低距离统计量估计中的方差。
• 将 HIP 应用于全距离图 Sketch（ADS），其中每个节点的 Sketch 通过偏向较近节点的有偏样本捕获信息，从而实现高效计算。
• 设计出无偏且方差显著低于先前方法的估计器，尤其在邻域基数与接近中心性方面表现优异。
• 引入一个通用框架，可推广至广泛类别的图统计量，包括基于距离分布的统计量。
• 证明 HIP 可提升 HyperLogLog MinHash Sketch 中的估计质量，在实际数据流应用中优于原始估计器。
• 采用近乎线性时间计算所有节点的 Sketch，确保在十亿条边图上的可扩展性。

实验结果

研究问题

• RQ1 能否为全距离图 Sketch 开发一种统一的低方差估计器，以准确估计各类图统计量？
• RQ2 HIP 估计器在邻域基数与接近中心性方面，与现有估计器相比在方差与精度上表现如何？
• RQ3 HIP 在多大程度上可提升数据流中近似去重计数的性能，特别是在 HyperLogLog MinHash Sketch 中？
• RQ4 HIP 估计器在基于 Sketch 的估计中，是否在距离相关统计量的方差降低方面达到最优？
• RQ5 HIP 框架能否在计算开销极低的前提下，灵活且高效地应用于广泛类别的图统计量？

主要发现

• HIP 估计器在邻域基数与接近中心性方面的方差最多仅为先前估计器的一半，显著提升了估计精度。
• HIP 估计器被证明为无偏，且在一般统计量中表现出多项式级别的方差改进，显示出强大的理论与实际优势。
• 该框架在所研究统计量中被证明在方差降低方面近乎最优，表明在相同采样模型下进一步改进的空间极小。
• HIP 在近似去重计数中优于原始的 HyperLogLog MinHash 估计器，显著提升了数据流应用中的估计质量。
• 该方法实现了所有节点 Sketch 的可扩展、近乎线性时间计算，适用于包含数十亿条边的大规模图。
• 统一框架支持广泛的图统计量，为大规模网络中各类基于距离的估计提供单一、优雅的解决方案。