[论文解读] HyperANF: Approximating the Neighbourhood Function of Very Large Graphs on a Budget

Paolo Boldi, Marco Rosa+1 more|arXiv (Cornell University)|Nov 25, 2010

Complex Network Analysis Techniques被引用 12

一句话总结

HyperANF 引入了一种高度可扩展的算法，通过使用 HyperLogLog 计数器和 broadword 编程，对大规模图的邻域函数进行近似，从而在标准工作站上数小时内准确计算出有效直径以及一种新型结构度量——spid（最短路径离散指数），可靠地区分十亿节点图中的社交网络与网页图。

ABSTRACT

The neighbourhood function N(t) of a graph G gives, for each t, the number of pairs of nodes <x, y> such that y is reachable from x in less that t hops. The neighbourhood function provides a wealth of information about the graph (e.g., it easily allows one to compute its diameter), but it is very expensive to compute it exactly. Recently, the ANF algorithm (approximate neighbourhood function) has been proposed with the purpose of approximating NG(t) on large graphs. We describe a breakthrough improvement over ANF in terms of speed and scalability. Our algorithm, called HyperANF, uses the new HyperLogLog counters and combines them efficiently through broadword programming; our implementation uses overdecomposition to exploit multi-core parallelism. With HyperANF, for the first time we can compute in a few hours the neighbourhood function of graphs with billions of nodes with a small error and good confidence using a standard workstation. Then, we turn to the study of the distribution of the shortest paths between reachable nodes (that can be efficiently approximated by means of HyperANF), and discover the surprising fact that its index of dispersion provides a clear-cut characterisation of proper social networks vs. web graphs. We thus propose the spid (Shortest-Paths Index of Dispersion) of a graph as a new, informative statistics that is able to discriminate between the above two types of graphs. We believe this is the first proposal of a significant new non-local structural index for complex networks whose computation is highly scalable.

研究动机与目标

• 开发一种可扩展、高效的算法，用于近似计算极大规模图的邻域函数，该计算在精确计算下计算成本过高。
• 通过高级概率计数和低级优化，改进 ANF 算法，降低内存使用并提高运行速度。
• 在标准硬件上实现对超过十亿个节点的图的有效直径及相关度量的计算。
• 识别并验证一种新型结构度量——spid，该度量基于最短路径距离的分散性，能够区分社交网络与网页图。
• 在 WebGraph 框架内提供免费、高性能的实现，以支持可重现的研究和大规模分析。

提出的方法

• 使用 HyperLogLog 计数器估计在 t 步内可到达的不同节点数量，将内存使用从 ANF 中的 O(n log n) 降低至 O(n log log n)。
• 使用 broadword 编程并行高效地组合各节点的 HyperLogLog 计数器，实现对紧凑计数器表示的快速字级操作。
• 应用任务分解以利用多核并行性，将可达集的计算分布在可用的 CPU 核心上。
• 利用 HyperLogLog 的概率特性，为所有近似结果维护统计置信区间，确保结果的可靠性。
• 实现一种流水线式、迭代的计算过程，每个节点将其当前的可达性估计传播给邻居，通过计数器更新来跟踪每个节点周围“球体”的扩展。
• 利用可达节点对之间距离的最终分布，计算离散指数（spid），这是一种新的全局网络度量。

实验结果

研究问题

• RQ1 能否使用概率计数方法，在低内存占用下高精度地近似十亿节点图的邻域函数？
• RQ2 社交网络与网页图中，最短路径距离的分布有何不同？能否通过单一可扩展的度量进行量化？
• RQ3 spid（最短路径离散指数）能否作为可靠的、非局部的结构索引，用于区分社交网络与网页图？
• RQ4 与 ANF 和 HADI 相比，HyperANF 在大规模图上的性能和内存效率如何？
• RQ5 对有向图进行对称化是否会扭曲其底层结构特性，特别是距离分布和 spid？

主要发现

• HyperANF 在配备 128 GB 内存的标准工作站上，仅用数小时即可计算出超过十亿个节点图的邻域函数，精度高且具有统计置信度。
• 该算法将内存使用从 ANF 中的 O(n log n) 降低至 O(n log log n)，使可扩展性远超 ANF 的实际限制。
• 与 HADI（基于 MapReduce 的 ANF 实现）相比，HyperANF 在笔记本电脑上用时不到 15 分钟即可完成对 20 亿条边的 Kronecker 图的相同计算，而 HADI 需要 90 个超级计算机节点运行 30 分钟。
• spid 度量成功区分了社交网络（低分散性）与网页图（高分散性），且与图的大小或密度无关。
• 网页图的巨型连通分量的 spid 几乎与整个图的 spid 完全一致，表明该度量对采样伪影和爬虫偏差具有鲁棒性。
• 对有向图进行对称化会显著降低平均距离和 spid，表明此类预处理会破坏有意义的结构信息，应在网络分析中避免使用。