[论文解读] Construction and impromptu repair of an MST in a distributed network with o(m) communication

Valerie King, Shay Kutten+1 more|arXiv (Cornell University)|Feb 11, 2015

Distributed systems and fault tolerance参考文献 26被引用 7

一句话总结

本文提出了一种基于蒙特卡洛算法的分布式最小生成树（MST）与生成树（ST）构造方法，通信量为 o(m)，打破了长期以来认为 Ω(m) 消息是必需的‘常识性定理’。在同步 CONGEST 模型中，MST 的消息复杂度为 O(n log²n / log log n)，ST 的消息复杂度为 O(n log n)，且在边更新后可实现即兴修复，删除操作的期望消息数为 O(n log n / log log n)，插入操作为 O(n)，无需预处理或辅助存储。

ABSTRACT

In the CONGEST model, a communications network is an undirected graph whose $n$ nodes are processors and whose $m$ edges are the communications links between processors. At any given time step, a message of size $O(\log n)$ may be sent by each node to each of its neighbors. We show for the synchronous model: If all nodes start in the same round, and each node knows its ID and the ID's of its neighbors, or in the case of MST, the distinct weights of its incident edges and knows $n$, then there are Monte Carlo algorithms which succeed w.h.p. to determine a minimum spanning forest (MST) and a spanning forest (ST) using $O(n \log^2 n/\log\log n)$ messages for MST and $O(n \log n )$ messages for ST, resp. These results contradict the "folk theorem" noted in Awerbuch, et.al., JACM 1990 that the distributed construction of a broadcast tree requires $Ω(m)$ messages. This lower bound has been shown there and in other papers for some CONGEST models; our protocol demonstrates the limits of these models. A dynamic distributed network is one which undergoes online edge insertions or deletions. We also show how to repair an MST or ST in a dynamic network with asynchronous communication. An edge deletion can be processed in $O(n\log n /\log \log n)$ expected messages in the MST, and $O(n)$ expected messages for the ST problem, while an edge insertion uses $O(n)$ messages in the worst case. We call this "impromptu" updating as we assume that between processing of edge updates there is no preprocessing or storage of additional information. Previous algorithms for this problem that use an amortized $o(m)$ messages per update require substantial preprocessing and additional local storage between updates.

研究动机与目标

• 挑战长期以来认为在分布式网络中构造生成树或 MST 必须消耗 Ω(m) 消息的普遍信念。
• 设计高效、随机化的算法，使 MST 和 ST 构造在同步 CONGEST 模型中的消息复杂度达到 o(m)。
• 在不依赖预处理或中间存储的情况下，实现 MST 和 ST 在边插入或删除后的动态、即兴修复。
• 证明随机化可替代动态图算法中的持久历史追踪机制，使最坏情况下的每轮更新通信量降至 o(m)。

提出的方法

• 将流式处理技术适配到分布式环境，通过随机选择边来降低消息复杂度。
• 采用改进的 Boruvka 风格方法，在每轮中随机选择最小权重边（MST）或任意出边（ST）。
• 通过领导者选举机制检测环路，并在 ST 构造过程中识别并打破环路。
• 引入概率去标记协议：环路上的节点随机排除一条关联边，以高概率确保环路被消除。
• 采用分层的、随机化的合并过程，每轮减少连通块数量，利用连通块数量的对数级减少特性。
• 对动态修复采用混合方法：边删除后，通过 FindAny 或 FindMin 操作并结合随机协调启动修复协议，避免使用持久数据结构。

实验结果

研究问题

• RQ1 是否能在 CONGEST 模型中以 o(m) 消息复杂度构造生成树，从而推翻长期存在的 Ω(m) 下界？
• RQ2 是否可能在不依赖摊还分析或辅助存储的情况下，实现 MST 构造的 o(m) 消息复杂度？
• RQ3 是否能在不预处理或使用持久数据结构的前提下，实现每次更新的 MST/ST 修复在 o(m) 消息复杂度内（最坏情况）？
• RQ4 随机化是否可替代动态图算法中的历史追踪机制，从而实现 sub-Ω(m) 的通信复杂度？
• RQ5 是否可将 MST 构造的消息复杂度进一步降低至接近 ST 构造的水平，即从 O(n log²n / log log n) 降低至 O(n log n / log log n)？

主要发现

• 该论文以 O(n log²n / log log n) 条消息和 O(n log n / log log n) 时间构造 MST，实现了同步 CONGEST 模型中的 o(m) 通信量。
• 对于 ST 构造，算法仅使用 O(n log n) 条消息和时间，远低于此前认为紧致的 Ω(m) 下界。
• MST 构造算法以高概率成功（1 - 1/n^c），且期望迭代次数被限制在 16 次以内。
• 边删除后 MST 的即兴修复使用 O(n log n / log log n) 条期望消息，ST 修复使用 O(n) 条期望消息，均无需预处理或辅助存储。
• 边插入操作在最坏情况下仅需 O(n) 条消息，表明 o(m) 复杂度可实现于最坏情况，而不仅限于摊还分析。
• 结果表明，随机化可替代动态图算法中的持久数据结构，实现 o(m) 消息复杂度且无需摊还分析。