[论文解读] Linear Time Average Consensus on Fixed Graphs and Implications for Decentralized Optimization and Multi-Agent Control

Alex Olshevsky|arXiv (Cornell University)|Nov 15, 2014

Distributed Control Multi-Agent Systems参考文献 63被引用 61

一句话总结

该论文提出了一种针对固定无向图的分布式平均一致性协议，可在节点数量上实现线性收敛时间，仅需所有节点知晓总节点数的常数倍上界。该协议通过基于记忆的更新和具有有界次梯度的次梯度方法，实现了去中心化优化、编队控制和领导者-跟随者控制中的线性时间收敛。

ABSTRACT

We describe a protocol for the average consensus problem on any fixed undirected graph whose convergence time scales linearly in the total number nodes $n$. The protocol is completely distributed, with the exception of requiring all nodes to know the same upper bound $U$ on the total number of nodes which is correct within a constant multiplicative factor. We next discuss applications of this protocol to problems in multi-agent control connected to the consensus problem. In particular, we describe protocols for formation maintenance and leader-following with convergence times which also scale linearly with the number of nodes. Finally, we develop a distributed protocol for minimizing an average of (possibly nondifferentiable) convex functions $ (1/n) \sum_{i=1}^n f_i(θ)$, in the setting where only node $i$ in an undirected, connected graph knows the function $f_i(θ)$. Under the same assumption about all nodes knowing $U$, and additionally assuming that the subgradients of each $f_i(θ)$ have absolute values upper bounded by some constant $L$ known to the nodes, we show that after $T$ iterations our protocol has error which is $O(L \sqrt{n/T})$.

研究动机与目标

• 设计一种在固定无向图上实现线性收敛时间的分布式一致性协议。
• 利用该一致性协议实现在去中心化优化、编队控制和领导者-跟随者任务中的快速收敛。
• 确保收敛时间与节点数量呈线性关系，即使在如线图和棉花糖图等复杂拓扑结构中亦成立。
• 为有界次梯度下的去中心化优化提供误差衰减的理论保证。
• 将一致性协议的适用性扩展至现实世界多智能体系统，且仅需最小程度的全局知识。

提出的方法

• 协议采用基于记忆的更新机制，每个节点根据自身及邻居的历史值维护并更新其状态。
• 通过当前状态与先前状态的线性组合，以及邻居值的结合，加速收敛过程。
• 在去中心化优化中，采用次梯度下降法，步长设置确保误差衰减为 $ O(L\sqrt{n/T}) $。
• 协议假设所有节点知晓 $ n $ 的一个常数倍上界 $ U $，以实现分布式协调。
• 理论分析依赖于图的谱性质，以及初始偏差和次梯度大小的界。
• 在路径图和棉花糖图上进行了验证，结果表明即使在结构瓶颈下，仍保持一致的线性收敛。

实验结果

研究问题

• RQ1 是否可在不依赖图的完整信息前提下，实现固定无向图上分布式一致性协议的线性收敛时间？
• RQ2 与标准凸组合方法相比，基于记忆的更新如何提升平均一致性中的收敛速度？
• RQ3 在有界次梯度下，对非光滑凸函数的去中心化优化，可实现的收敛速率是多少？
• RQ4 所提出的协议是否可在编队保持和领导者-跟随者任务中维持线性收敛？
• RQ5 网络拓扑结构（如路径图或棉花糖图）对协议收敛行为有何影响？

主要发现

• 所提出的共识协议在节点数 $ n $ 上实现了独立于图谱间隙的线性收敛时间 $ O(n) $。
• 即使在如路径图和棉花糖图等具有挑战性的拓扑结构中，协议仍保持线性收敛，而这些结构通常会减缓标准共识协议的收敛速度。
• 在去中心化优化中，经过 $ T $ 次迭代后，误差衰减为 $ O(L\sqrt{n/T}) $，其中 $ L $ 为次梯度的上界。
• 协议仅要求所有节点知晓 $ n $ 的一个常数倍上界 $ U $，即可实现完全分布式的运行，无需全局知识。
• 通过利用相同的底层共识机制，该方法在编队维持和领导者-跟随者任务中也实现了线性收敛。
• 实验结果证实，在路径图和棉花糖图中，$ T = 4n $ 次迭代即可高精度计算出中位数。