[论文解读] Convergence Speed in Distributed Consensus and Control

Alex Olshevsky, John N. Tsitsiklis|arXiv (Cornell University)|Dec 22, 2006

Distributed Control Multi-Agent Systems参考文献 16被引用 10

一句话总结

本文分析了分布式一致性与平均化算法中的收敛速度，提出了一种针对时变拓扑的多项式时间平均化算法。它建立了线性、时不变方法的最坏情况收敛下界为 Ω(n²)，并提出了一种基于生成树的算法，其收敛速度几乎达到该下界；同时引入了一种非线性负载均衡方法，在随机动态图中实现了次线性收敛。

ABSTRACT

We study the convergence speed of distributed iterative algorithms for the consensus and averaging problems, with emphasis on the latter. We first consider the case of a fixed communication topology. We show that a simple adaptation of a consensus algorithm leads to an averaging algorithm. We prove lower bounds on the worst-case convergence time for various classes of linear, time-invariant, distributed consensus methods, and provide an algorithm that essentially matches those lower bounds. We then consider the case of a time-varying topology, and provide a polynomial-time averaging algorithm.

研究动机与目标

• 刻画固定拓扑下分布式平均化算法最坏情况收敛时间作为节点数 n 的函数。
• 为线性、时不变、分布式一致性方法建立收敛时间的根本下界。
• 设计一种收敛速度几乎匹配这些下界的算法。
• 研究在时变网络拓扑下，特别是随机动态图中的平均化算法性能。
• 探讨分布式平均化中数值稳定性、线性性与收敛速度之间的权衡。

提出的方法

• 通过并行运行两个一致性算法实例来构建一个平均化算法，确保收敛到初始值的精确平均值。
• 利用收敛速率的变分刻画来分析固定拓扑算法的最坏情况收敛时间。
• 应用 [23] 中的结果，表明某种特定平均化方法的最坏情况收敛时间为 Θ(n³)。
• 提出一种基于生成树的算法，采用等权重邻居一致性规则，在稳定性约束下实现了与 Ω(n²) 下界匹配的收敛时间。
• 为时变拓扑提出一种非线性负载均衡算法，其中每个节点以确保收敛到平均值的方式与邻居交换值。
• 要求在每次迭代的值交换阶段拓扑保持固定，以维持正确性和收敛性保证。

实验结果

研究问题

• RQ1 对于具有固定拓扑的线性、时不变、分布式平均化算法，其根本最坏情况收敛时间下界是什么？
• RQ2 能否构造一种分布式平均化算法，使其收敛速度几乎匹配该下界？
• RQ3 在时变拓扑下，特别是随机图模型中，一致性算法的收敛行为如何变化？
• RQ4 是否可能设计一种在动态拓扑下具有多项式时间收敛性的分布式平均化算法，且对每个节点的内存需求不过高？
• RQ5 在分布式平均化中，线性性、数值稳定性与收敛速度之间存在何种权衡？

主要发现

• 对于固定拓扑，一类线性、时不变平均化算法的最坏情况收敛时间下界为 Ω(n²)，且该下界几乎紧致。
• 基于生成树的平均化算法，采用等权重邻居一致性规则，其收敛时间与 Ω(n²) 下界匹配，因此在稳定性约束下几乎最优。
• 双并行一致性算法方法的收敛时间为 Θ(n³)，表明其与最优下界之间存在显著性能差距。
• 在时变的 Erdös-Rényi 图与几何随机图中，所提出的负载均衡算法实现了次线性收敛，仅需次线性数量的迭代即可达到 ε-精度。
• 在非对称时变拓扑下，一致性算法在最坏情况下可能经历指数级长的收敛时间，凸显其在动态环境中的不稳定性。
• 为时变拓扑提出了一种非线性、多项式时间的平均化算法，其在每次值交换阶段拓扑保持固定这一假设下，仍能保持正确性。