[论文解读] Graph connectivity in log-diameter steps using label propagation.

Paul Burkhardt|arXiv (Cornell University)|Aug 20, 2018

Distributed systems and fault tolerance被引用 5

一句话总结

本文提出了一种确定性的标签传播框架，在PRAM、Stream和MapReduce模型中，无需指针追踪即可在O(log D)步内实现图连通性。这是首个在效率上匹配最快PRAM算法的同时，仍保持简单、可扩展，并适用于分布式和流式系统的算法。

ABSTRACT

The fastest deterministic algorithms for connected components take logarithmic time and perform superlinear work on a PRAM. These algorithms require pointer-chasing operations and are limited to shared-memory systems. Another popular method is `leader contraction' where non-leader vertices are contracted to adjacent leaders. The challenge is to select a constant fraction of leaders that are adjacent to a constant fraction of non-leaders with high probability. Instead we investigate whether simple label propagation can be as efficient as the fastest known algorithms for graph connectivity. Label propagation exchanges representative labels within a component. This is attractive for other models because it is deterministic and does not rely on pointer-chasing, but it is inherently difficult to complete in a sublinear number of steps. We are able to solve the problems with label propagation for graph connectivity. We introduce a simple framework for deterministic graph connectivity in log-diameter steps using label propagation that is easily translated to other computational models. We present new algorithms in PRAM, Stream, and MapReduce. Given a simple, undirected graph $G=(V,E)$ with $n=|V|$ vertices, $m=|E|$ edges, and $D$ diameter, all our algorithms complete in $O(\log D)$ steps without pointer operations. We give the first label propagation algorithms that are competitive with the fastest PRAM algorithms, achieving $O(\log D)$ time and $O((m+n)\log D)$ work with $O(m+n)$ processors. Our main contribution is in Stream and MapReduce models. We give an efficient Stream-Sort algorithm that takes $O(\log D)$ passes and $O(\log n)$ memory, and a MapReduce algorithm taking $O(\log D)$ rounds and $O((m+n)\log D)$ communication overall. These are the first $O(\log D)$-step graph connectivity algorithms in Stream and MapReduce models that are also deterministic and simple to implement.

研究动机与目标

• 开发一种确定性的、无指针追踪的替代方案，以取代现有依赖复杂指针追踪操作的PRAM图连通性算法。
• 通过引入一种新颖的高效标签收敛框架，克服标签传播在亚线性步数内完成的固有困难。
• 在流式和分布式模型（Stream和MapReduce）中实现高效的图连通性计算，而此前的确定性解决方案要么速度慢，要么过于复杂。
• 在保持与最快已知PRAM算法相当的工作效率的同时，维持算法在不同模型间的简洁性和可移植性。

提出的方法

• 提出一种标签传播框架，以确定性方式在连通分量内交换分量代表标签。
• 采用分层标签策略，确保领导者能在O(log D)步内高效传播标签至整个分量。
• 设计一种Stream-Sort算法，通过多轮处理边，每处理器仅使用O(log n)内存，并在O(log D)轮内完成。
• 开发一种MapReduce算法，执行O(log D)轮，总通信量为O((m+n)log D)，利用标签传播合并分量。
• 通过依赖本地标签交换和通过标签一致实现的分量收缩，消除指针追踪。
• 通过保证任意直径为D的图中，标签均能在O(log D)步内收敛至代表值，确保正确性和终止性。

实验结果

研究问题

• RQ1 标签传播能否被优化到足够高效，以匹配目前已知最快PRAM算法在图连通性上的性能？
• RQ2 能否设计一种确定性的标签传播算法，在不使用指针追踪操作的前提下，于O(log D)步内完成？
• RQ3 该标签传播框架能否被高效适配至流式和MapReduce模型，同时将内存和通信量降至最低？
• RQ4 在分布式和流式环境中，标签传播实现正确连通性所需的最少轮数或通过次数是多少？
• RQ5 如何使标签传播在保持理论效率的同时，实现不同计算模型间的简洁性和可扩展性？

主要发现

• 所提出的框架在PRAM上实现O(log D)时间复杂度和O((m+n)log D)工作量，使用O(m+n)处理器，与目前已知最优的确定性PRAM算法性能相当。
• 首次提出一种确定性的O(log D)-轮Stream-Sort算法用于图连通性，每处理器仅使用O(log n)内存。
• 开发出一种MapReduce算法，可在O(log D)轮内完成，总通信量为O((m+n)log D)，是该模型中首个此类确定性算法。
• 该框架消除了指针追踪操作，使其比以往方法更适用于分布式和流式系统。
• 所有算法均为确定性，易于实现，且避免使用复杂数据结构或概率性假设。
• 该方法表明，标签传播既可高效又可扩展，其性能可与多种模型下的最先进算法相媲美。