[论文解读] KADABRA is an ADaptive Algorithm for Betweenness via Random Approximation

Michele Borassi, Emanuele Natale|arXiv (Cornell University)|Apr 28, 2016

Complex Network Analysis Techniques被引用 10

一句话总结

KADABRA 是一种新颖的自适应算法，用于在大规模有向图和无向图中近似计算介数中心性，通过使用平衡双向BFS实现高效的最短路径采样，并结合自适应采样策略以减少计算量。该算法在真实网络上实现了超过100倍的加速，使包含数百万个节点的图（如IMDB和Wikipedia网络）中可扩展地计算出top-k中心节点。

ABSTRACT

We present KADABRA, a new algorithm to approximate betweenness centrality in directed and undirected graphs, which significantly outperforms all previous approaches on real-world complex networks. The efficiency of the new algorithm relies on two new theoretical contributions, of independent interest. The first contribution focuses on sampling shortest paths, a subroutine used by most algorithms that approximate betweenness centrality. We show that, on realistic random graph models, we can perform this task in time $|E|^{\frac{1}{2}+o(1)}$ with high probability, obtaining a significant speedup with respect to the $Θ(|E|)$ worst-case performance. We experimentally show that this new technique achieves similar speedups on real-world complex networks, as well. The second contribution is a new rigorous application of the adaptive sampling technique. This approach decreases the total number of shortest paths that need to be sampled to compute all betweenness centralities with a given absolute error, and it also handles more general problems, such as computing the $k$ most central nodes. Furthermore, our analysis is general, and it might be extended to other settings.

研究动机与目标

• 解决大规模真实网络中精确介数中心性计算的计算瓶颈问题，其时间复杂度为O(mn)，对超大规模图不可行。
• 通过引入基于节点中心性方差的自适应采样策略，克服以往近似方法中均匀采样效率低下的问题，从而根据中心性方差动态减少所需采样次数。
• 通过为每个节点允许不同的置信区间，实现可扩展的top-k中心节点计算——此前在统一误差界下无法实现。
• 理论分析旨在推广至介数中心性之外的其他网络中心性与采样问题。
• 开发一种在真实复杂网络上优于现有方法的实用算法，同时保持严格的概率误差保证。

提出的方法

• 使用平衡双向BFS（bb-BFS）对随机节点对之间的最短路径进行采样，确保两个搜索前沿对称增长，并在相遇时终止。
• 证明在现实随机图模型（如配置模型、Chung-Lu模型）下，bb-BFS以高概率在|E|^{1/2 + o(1)}时间内运行，显著快于标准O(|E|)的最坏情况。
• 提出一种自适应采样策略，根据估计的中心性和方差动态调整每个节点的采样次数，从而减少达到给定误差容忍度所需的总采样数。
• 应用浓度不等式，为每个节点的介数中心性估计值界定置信区间，确保所有估计值以1−δ的概率落在其对应区间内。
• 设计一个框架，支持非均匀误差界——对中心性值相近的节点采用更小的误差界，对分离度较高的节点采用更大的误差界，从而实现高效的top-k中心性排序。
• 实现该算法以支持无向图和有向图，并在IMDB和Wikipedia引用图等真实世界网络上进行实验验证。

实验结果

研究问题

• RQ1 在现实随机图模型中，是否可以将最短路径采样复杂度超越标准O(|E|)的最坏情况？
• RQ2 自适应采样是否能减少为达到给定绝对误差的介数中心性估计所需采样的路径总数？
• RQ3 即使无需完整中心性排序，是否也能高效计算出k个最中心的节点，且置信度较高？
• RQ4 自适应采样的理论保证能否推广至介数中心性之外的一般网络中心性问题？
• RQ5 在具有幂律度分布的现实复杂网络中，平衡双向BFS与标准BFS相比性能如何？

主要发现

• 在节点数约为10,000的图上，KADABRA相比以往算法实现了超过100倍的加速，在实际应用中显著优于现有方法。
• 在真实复杂网络中，平衡双向BFS将路径采样时间实际降低至|E|^{1/2 + o(1)}，与随机图模型上的理论预期一致。
• 自适应采样技术减少了为达到给定绝对误差所需采样的路径总数，尤其在仅需top-k节点时优势明显。
• KADABRA 成功计算了节点数达180万个（如IMDB 2014年快照）的网络中top-k介数中心节点，此前使用统一误差方法无法实现。
• 对于IMDB合作者网络（180万个节点），KADABRA在λ = 0.0002和δ = 0.1的条件下，计算出top-10中心节点，置信区间宽度约为0.0006。
• 该算法保持了严格的概率保证：以至少1−δ的概率，所有介数中心性估计值均落在其对应的置信区间内。