[论文解读] Distributed Algorithms for Directed Betweenness Centrality and All Pairs Shortest Paths

Matteo Pontecorvi, Vijaya Ramachandran|arXiv (Cornell University)|May 21, 2018

Distributed systems and fault tolerance参考文献 23被引用 11

一句话总结

本论文在 CONGEST 模型中首次提出了计算有向图中介数中心性（BC）和所有点对最短路径（APSP）的高效分布式算法。针对无权有向图和带权有向无环图（DAG），提出了 O(n)-轮算法，通过全局延迟流水线技术优化消息传递与轮次复杂度，显著优于以往工作在轮次和消息数量上的表现。

ABSTRACT

The betweenness centrality (BC) of a node in a network (or graph) is a measure of its importance in the network. BC is widely used in a large number of environments such as social networks, transport networks, security/mobile networks and more. We present an O(n)-round distributed algorithm for computing BC of every vertex as well as all pairs shortest paths (APSP) in a directed unweighted network, where n is the number of vertices and m is the number of edges. We also present O(n)-round distributed algorithms for computing APSP and BC in a weighted directed acyclic graph (dag). Our algorithms are in the Congest model and our weighted dag algorithms appear to be the first nontrivial distributed algorithms for both APSP and BC. All our algorithms pay careful attention to the constant factors in the number of rounds and number of messages sent, and for unweighted graphs they improve on one or both of these measures by at least a constant factor over previous results for both directed and undirected APSP and BC.

研究动机与目标

• 设计有向图中介数中心性（BC）和所有点对最短路径（APSP）的高效分布式算法，该领域此前研究有限。
• 在 CONGEST 模型中最小化通信轮数和总消息数，尤其针对有向图和带权图。
• 开发能够协调、轮次优化地在多个源点之间高效流水线化最短路径计算的技术。
• 为带权有向无环图（DAG）提供首个非平凡的分布式 APSP 和 BC 算法，解决此前未被解决的挑战。
• 在无权图中，将现有分布式 BC 和 APSP 算法的轮次复杂度和消息复杂度均至少提升一个常数因子。

提出的方法

• 采用全局延迟流水线技术，每个源点根据其 ID 和节点层级（距源点的距离）在唯一绝对时间启动单源最短路径（SSSP）计算。
• 在带权 DAG 中使用拓扑排序，确保最短路径距离和路径计数消息以一致、依赖感知的顺序传播。
• 通过聚合来自入边邻居 u 的值，计算每个节点 y 的最短路径距离 δ(x,y) 和最短路径数量 σxy，其中满足 δ(x,u) + w(u,y) = δ(x,y)。
• 使用倒序轮次编号调度 BC 的累积阶段：对于每对 (x,y)，累积在时间 A_xy = 2n - τ_xy 进行，确保所有后继均已发送其贡献。
• 利用 CONGEST 模型的消息大小限制（O(log n) 位）以保证可扩展性和拥塞控制，同时保持正确性。
• 将 SSSP 和 BC 计算整合到统一框架中：首先通过流水线化 SSSP 传播计算 APSP，然后将结果用作 BC 计算的反向累积输入。

实验结果

研究问题

• RQ1 能否在 CONGEST 模型中为有向图设计高效的分布式 BC 和 APSP 算法，而此前该领域研究有限？
• RQ2 如何协调多个源点之间的流水线消息传播，以最小化有向图中的轮次复杂度？
• RQ3 在带权 DAG 中，APSP 和 BC 的最小轮次复杂度是多少？能否在消息数有界的情况下实现？
• RQ4 为无权图开发的技术能否扩展到带权 DAG 并保证可证明的性能？
• RQ5 全局延迟流水线在多大程度上能同时降低分布式最短路径与中心性计算中的轮次和消息复杂度？

主要发现

• 该算法在无权有向图中以 2n + O(D) 轮完成 BC 计算，其中 D 为有向直径，最多发送 2mn + 2m 条消息。
• 对于无权图，APSP 子组件在 n + O(D) 轮内运行，最多发送 mn + 2m 条消息，在两项指标上均较以往结果提升常数因子。
• 对于带权 DAG，APSP 算法运行时间为 n + O(L) 轮，BC 算法运行时间为 2n + O(L) 轮，其中 L 为任意源点出发的最长路径长度。
• 所提出的算法是首个为带权 DAG 中的 APSP 和 BC 提供非平凡分布式解的算法，填补了分布式图算法中的关键空白。
• 在 D-Galois 平台上的实现验证了 BC 算法优于早期高性能分布式 BC 实现。
• 全局延迟流水线的使用实现了多源点间的协调，避免了消息冲突，从而降低了轮次和消息复杂度。