[论文解读] Achieving Linear Convergence in Distributed Asynchronous Multi-agent Optimization

Ye Tian, Ying Sun+1 more|arXiv (Cornell University)|Mar 28, 2018

Distributed Control Multi-Agent Systems参考文献 52被引用 16

一句话总结

本文提出了一种分布式异步多智能体优化算法，在任意、有界、时变延迟以及智能体更新不协调的条件下，实现了强凸问题的R线性（几何）收敛。该算法引入了一种鲁棒的梯度追踪机制，利用过时信息估计平均梯度，无需协调或延迟知识即可实现收敛，是首个在这一通用异步设置下具备可证明线性收敛性的算法。

ABSTRACT

This papers studies multi-agent (convex and \emph{nonconvex}) optimization over static digraphs. We propose a general distributed \emph{asynchronous} algorithmic framework whereby i) agents can update their local variables as well as communicate with their neighbors at any time, without any form of coordination; and ii) they can perform their local computations using (possibly) delayed, out-of-sync information from the other agents. Delays need not be known to the agent or obey any specific profile, and can also be time-varying (but bounded). The algorithm builds on a tracking mechanism that is robust against asynchrony (in the above sense), whose goal is to estimate locally the average of agents' gradients. When applied to strongly convex functions, we prove that it converges at an R-linear (geometric) rate as long as the step-size is {sufficiently small}. A sublinear convergence rate is proved, when nonconvex problems and/or diminishing, {\it uncoordinated} step-sizes are considered. To the best of our knowledge, this is the first distributed algorithm with provable geometric convergence rate in such a general asynchronous setting. Preliminary numerical results demonstrate the efficacy of the proposed algorithm and validate our theoretical findings.

研究动机与目标

• 设计一种适用于静态有向图上运行的多智能体系统的分布式优化算法，无需协调或集中调度。
• 在通信与计算中存在任意、有界、时变延迟的情况下实现收敛，即使智能体使用过时信息亦可。
• 在存在异步性和延迟信息的情况下，实现强凸问题的R线性收敛速率。
• 将框架扩展至非凸问题，在递减、不协调的步长下实现次线性收敛。
• 提供一个统一的算法框架，支持并行、异步更新，且对延迟特性或激活模式的假设最少。

提出的方法

• 该算法采用分布式梯度追踪机制，利用邻居的延迟、非同步信息估计各智能体梯度的平均值。
• 使用加权混合矩阵在网络中传播信息，即使在任意延迟下也能确保收敛。
• 该方法引入一种新颖的追踪机制，通过利用有界延迟和矩阵元素的下界，增强对异步性的鲁棒性。
• 算法采用不协调的、递减的步长，且无需了解延迟特性或同步机制。
• 关键组件是构造一个随机向量序列，以确保每个智能体信息的影响在时间上保持一致的下界。
• 理论分析基于在时间区间上使用压缩论证来界定追踪机制中的误差，从而在强凸条件下实现线性收敛。

实验结果

研究问题

• RQ1 当智能体使用过时信息并异步更新时，能否设计一种分布式异步算法，实现强凸问题的R线性收敛？
• RQ2 能否设计一种分布式算法，在无需延迟知识或协调的情况下，于任意、有界、时变延迟下实现线性收敛？
• RQ3 如何使多智能体系统中具有有向通信图的梯度追踪机制对异步性具有鲁棒性？
• RQ4 在非凸设置下，何种步长和网络结构条件可确保全局收敛至精确解？
• RQ5 所提出的框架能否支持不协调的并行更新，同时保持收敛性保证？

主要发现

• 当步长足够小时，所提出的算法在任意、有界、时变延迟下，仍能实现强凸问题的R线性收敛。
• 对于非凸问题，当使用递减、不协调的步长时，算法实现次线性收敛。
• 该算法在最一般的异步模型下被证明是收敛的：即不协调更新、任意延迟，且无协调或延迟知识。
• 梯度追踪机制确保了即使在使用过时信息时，平均梯度的估计仍保持有界且准确。
• 理论分析证明，每个智能体信息的影响在时间上被一致地保持下界，从而支持收敛。
• 该算法是首个在如此一般设置下具备可证明几何收敛速率的分布式异步方法，数值结果已验证其有效性。