[论文解读] Distributed Averaging via Lifted Markov Chains

Kyomin Jung, Devavrat Shah+1 more|ArXiv.org|Aug 27, 2009

Mobile Ad Hoc Networks参考文献 22被引用 5

一句话总结

本文提出了一种新颖的非可逆马尔可夫链构造方法——伪提升（pseudo-lifting），通过将标准的梅特罗波利斯-哈斯廷斯随机游走进行变换，加速了网络中的分布式平均计算。通过利用图的几何特性和倍增维数特性，该方法实现了与网络直径成比例的最优混合时间，显著优于环形等图上的可逆链。

ABSTRACT

Motivated by applications of distributed linear estimation, distributed control and distributed optimization, we consider the question of designing linear iterative algorithms for computing the average of numbers in a network. Specifically, our interest is in designing such an algorithm with the fastest rate of convergence given the topological constraints of the network. As the main result of this paper, we design an algorithm with the fastest possible rate of convergence using a non-reversible Markov chain on the given network graph. We construct such a Markov chain by transforming the standard Markov chain, which is obtained using the Metropolis-Hastings method. We call this novel transformation pseudo-lifting. We apply our method to graphs with geometry, or graphs with doubling dimension. Specifically, the convergence time of our algorithm (equivalently, the mixing time of our Markov chain) is proportional to the diameter of the network graph and hence optimal. As a byproduct, our result provides the fastest mixing Markov chain given the network topological constraints, and should naturally find their applications in the context of distributed optimization, estimation and control.

研究动机与目标

• 解决传感器网络、对等系统和无人飞行器网络中对快速、可扩展且鲁棒的分布式算法的需求。
• 克服可逆马尔可夫链在几何图（如环形图）上的收敛缓慢问题，其混合时间尺度为 Ω(n²)。
• 在拓扑结构约束下，设计一种线性迭代算法，实现分布式平均的最快收敛速度。
• 对于具有几何结构或倍增维数的图，实现混合时间与网络直径成比例，而非直径平方，从而达到最优。
• 为任意给定图提供最快混合马尔可夫链的一般构造方法，适用于分布式优化、估计与控制。

提出的方法

• 提出一种新变换——'伪提升'，通过提升图结构从基础可逆链构造非可逆马尔可夫链。
• 在提升图中采用分层星型拓扑，嵌入可实现更快混合的路径，同时保持图的一致性。
• 通过求解线性规划问题为提升边分配权重，构造提升转移矩阵，确保细致平衡与均匀平稳分布。
• 将提升构造应用于具有几何结构或有界倍增维数的图，以利用拓扑特性获得性能提升。
• 证明提升链的谱间隙下界由基础链的连通性与转移概率决定，确保混合性能提升。
• 利用谱间隙与连通性的最小-最大刻画，比较提升链与基础可逆链的性能表现。

实验结果

研究问题

• RQ1 能否构造一种非可逆马尔可夫链，使其在给定网络图上的混合速度优于标准的梅特罗波利斯-哈斯廷斯可逆链？
• RQ2 对于具有几何结构或倍增维数的图，是否存在一种最快可能的马尔可夫链，其混合时间与直径成比例，而非直径的平方？
• RQ3 能否设计一种基于提升的方法，在保持图一致性的同时，实现在分布式平均中最快的收敛速度？
• RQ4 在节点故障等情况下，提升马尔可夫链的性能与鲁棒性之间存在何种权衡？
• RQ5 伪提升框架能否推广至使用基于扩展器的拓扑结构，以提升容错能力而不牺牲收敛速度？

主要发现

• 所提出的伪提升方法构造的非可逆马尔可夫链，其混合时间与网络直径成比例，对具有几何结构或倍增维数的图达到最优。
• 对于环形图，该方法将混合时间从可逆链的 O(n² log n) 降低至 O(n)，达到 Ω(n) 的理论下限。
• 提升链的谱间隙下界为基础链谱间隙的常数倍，确保更快收敛。
• 提升链的规模为 O*(|E|/Φ(P))，其中 Φ(P) 为基础链的连通性，表明在边扩展方面构造高效。
• 该方法在拓扑约束下为任意给定图提供了最快混合的马尔可夫链，适用于分布式优化、估计与控制。
• 该构造对拓扑结构具有鲁棒性：当应用于倍增维数图时，混合时间仍与直径成比例，证实了其可扩展性。