[论文解读] Average Consensus in Nearly Linear Time on Fixed Graphs and Implications for Decentralized Optimization and Multi-Agent Control.

Alex Olshevsky|arXiv (Cornell University)|Nov 15, 2014

Distributed Control Multi-Agent Systems被引用 3

一句话总结

该论文提出了一种分布式平均一致协议，在任意固定无向图上，其收敛时间与节点数 $n$ 呈线性关系，仅需所有节点知晓 $n$ 的常数倍上界 $U$。该方法使去中心化优化和多智能体控制任务（如构型保持和领导者-跟随者协调）实现线性时间收敛，经过 $T$ 次迭代后，最小化凸函数平均值的误差界为 $O(L ilde{n}/T})$。

ABSTRACT

We describe a protocol for the average consensus problem on any fixed undirected graph whose convergence time scales linearly in the total number nodes $n$. The protocol is completely distributed, with the exception of requiring all nodes to know the same upper bound $U$ on the total number of nodes which is correct within a constant multiplicative factor. We next discuss applications of this protocol to problems in multi-agent control connected to the consensus problem. In particular, we describe protocols for formation maintenance and leader-following with convergence times which also scale linearly with the number of nodes. Finally, we develop a distributed protocol for minimizing an average of (possibly nondifferentiable) convex functions $ (1/n) \sum_{i=1}^n f_i( heta)$, in the setting where only node $i$ in an undirected, connected graph knows the function $f_i( heta)$. Under the same assumption about all nodes knowing $U$, and additionally assuming that the subgradients of each $f_i( heta)$ have absolute values upper bounded by some constant $L$ known to the nodes, we show that after $T$ iterations our protocol has error which is $O(L \sqrt{n/T})$.

研究动机与目标

• 设计一种在固定无向图上具有线性收敛时间的分布式平均一致协议。
• 在每个节点持有局部凸函数的网络上，实现高效的去中心化优化。
• 支持构型保持和领导者-跟随者协调等多智能体控制任务，并实现线性时间收敛。
• 在仅需最小全局知识的前提下确保收敛——各节点仅需知晓 $n$ 的常数倍上界 $U$。

提出的方法

• 该协议基于固定无向图上的局部平均与加权图拉普拉斯动力学，采用分布式迭代机制。
• 利用图拉普拉斯矩阵的谱性质，确保在 $O(n)$ 时间步内收敛。
• 每个节点通过其邻居状态的加权平均来更新自身状态，权重由 $n$ 的固定已知上界 $U$ 推导得出。
• 该协议除共享知晓 $U$ 外完全分布，$U$ 用于设定收敛参数。
• 在去中心化优化中，该方法以分布式方式应用次梯度下降，每个节点基于其本地函数 $f_i(\theta)$ 和本地次梯度信息进行更新。
• 通过次梯度误差界与次梯度一致有界于 $L$ 的假设，推导出优化协议的收敛速率。

实验结果

研究问题

• RQ1 能否在任意固定无向图上，使用完全分布式的协议实现线性时间的平均一致？
• RQ2 实现分布式一致线性时间收敛所需的最小全局信息是什么？
• RQ3 如何利用线性时间一致来解决构型保持等去中心化多智能体控制问题？
• RQ4 在仅具备局部知识和有界次梯度的前提下，对凸函数平均值的去中心化最小化，可保证的收敛速率是多少？
• RQ5 仅具备局部函数知识和共享上界 $U$ 的前提下，去中心化优化中的误差是否可被界定为 $O(L \sqrt{n/T})$？

主要发现

• 所提出的平均一致协议在任意固定无向图上均实现 $O(n)$ 时间步内的收敛，且对图结构的依赖仅限于连通性。
• 该协议仅需所有节点知晓 $n$ 的常数倍上界 $U$，即可实现完全分布化，且仅需最小的全局知识。
• 在多智能体控制中，该协议在构型保持和领导者-跟随者任务中均实现线性时间收敛，保持可扩展性。
• 在去中心化优化中，$T$ 次迭代后的误差被限制在 $O(L \sqrt{n/T})$ 内，其中 $L$ 为局部函数次梯度的统一上界。
• 该方法确保所有节点渐近收敛至初始值的平均，且收敛速率与 $n$ 呈线性关系，独立于图的谱间隙。