[论文解读] In-Core Computation of Geometric Centralities with HyperBall: A Hundred Billion Nodes and Beyond

Paolo Boldi, Sebastiano Vigna|arXiv (Cornell University)|Aug 9, 2013

Complex Network Analysis Techniques参考文献 20被引用 12

一句话总结

HyperBall 实现了在核心内存中对图进行近似几何中心性计算——例如调和中心性和接近中心性——仅使用 2 TiB 内存即可处理高达 1000 亿个节点的图。通过利用 HyperLogLog 计数器、压缩图表示和紧凑数据结构，其速度比基于 Hadoop 的方法快 150 倍，并在核心数上实现线性扩展，从而在 ClueWeb09 等大规模真实图上实现高精度、高性能的分析。

ABSTRACT

Given a social network, which of its nodes are more central? This question has been asked many times in sociology, psychology and computer science, and a whole plethora of centrality measures (a.k.a. centrality indices, or rankings) were proposed to account for the importance of the nodes of a network. In this paper, we approach the problem of computing geometric centralities, such as closeness and harmonic centrality, on very large graphs; traditionally this task requires an all-pairs shortest-path computation in the exact case, or a number of breadth-first traversals for approximated computations, but these techniques yield very weak statistical guarantees on highly disconnected graphs. We rather assume that the graph is accessed in a semi-streaming fashion, that is, that adjacency lists are scanned almost sequentially, and that a very small amount of memory (in the order of a dozen bytes) per node is available in core memory. We leverage the newly discovered algorithms based on HyperLogLog counters, making it possible to approximate a number of geometric centralities at a very high speed and with high accuracy. While the application of similar algorithms for the approximation of closeness was attempted in the MapReduce framework, our exploitation of HyperLogLog counters reduces exponentially the memory footprint, paving the way for in-core processing of networks with a hundred billion nodes using "just" 2TiB of RAM. Moreover, the computations we describe are inherently parallelizable, and scale linearly with the number of available cores.

研究动机与目标

• 在最多 1000 亿个节点的图上实现核心内存中高精度的几何中心性计算。
• 克服传统全对最短路径或基于 BFS 的中心性计算在大规模、可能不连通图上的内存和可扩展性限制。
• 为大规模图的中心性近似提供一种高精度、低内存的 MapReduce 替代方案。
• 在标准工作站上对 ClueWeb09 和 Wikipedia 等真实图展示线性可扩展性和高性能。
• 将方法扩展至加权图，且空间开销极小。

提出的方法

• 该方法使用 HyperLogLog 计数器估算每个节点周围球体（给定距离内的节点）的大小，从而高效近似基于距离的中心性。
• 其假设采用半流式图访问模型，即按顺序扫描邻接表，且每个节点仅在核心内存中存储几十字节。
• 该框架整合了压缩图表示和紧凑数据结构，以高效管理内存映射的磁盘图存储。
• 它利用 HyperLogLog 计数器的统计特性，以高精度和低方差估计可到达节点的数量。
• 该算法本质上可并行化，每个节点的计算相互独立，可在多个核心上可扩展。
• 对于加权图，通过将边权重视为距离分布的一部分，将 HyperLogLog 估计扩展至最小精度损失。

实验结果

研究问题

• RQ1 是否可以仅使用核心内存在最多 1000 亿个节点的图上高精度、高效地计算几何中心性？
• RQ2 HyperBall 在中心性近似方面的性能和准确性与基于 Hadoop 的 MapReduce 实现相比如何？
• RQ3 使用 HyperLogLog 计数器在保持高精度的同时，能在多大程度上减少内存占用？
• RQ4 该方法在大规模图上是否随可用 CPU 核心数线性扩展？
• RQ5 该框架能否以可忽略的空间和精度成本扩展至处理加权图？

主要发现

• HyperBall 在 50 台机器的 Hadoop 集群上实现了 150 倍的加速，而使用 32 核工作站的性能超过 Hadoop 集群 150 倍以上。
• 在配备 8 核的 MacBook Pro 上，HyperBall 的速度比基于 Hadoop 的方法快 50 倍，即使在消费级硬件上也表现出强劲性能。
• 中心性估计的平均相对误差始终接近 HyperLogLog 计数器的理论预测值，且在实践中通常显著更低。
• 对核心可达节点的估计因巨大强连通分量中高度重叠的可达集合而方差降低，其中 89% 的节点具有完全相同的可达集合。
• 每核心每条边的处理时间在 1 至 32 核之间几乎保持恒定，表明接近完美的线性可扩展性，32 核时 30% 的性能提升可能源于缓存效应。
• 在 ClueWeb09（48 亿个节点）上，HyperBall 使用 875 GiB 内存和每个 HyperLogLog 计数器 256 个寄存器，在 422 分钟内完成全部 200 次迭代计算，性能扩展优于线性，且精度越高表现越佳。