[论文解读] A Push-Pull Gradient Method for Distributed Optimization in Networks

Shi Pu, Wei Shi+2 more|arXiv (Cornell University)|Mar 20, 2018

Distributed Control Multi-Agent Systems参考文献 42被引用 21

一句话总结

该论文提出了一种新颖的推拉梯度方法，用于网络中的分布式优化，其中每个代理维护最优决策变量的估计值（向邻居推送）和平均梯度的估计值（从邻居拉取）。该方法在有向静态网络上对强凸且光滑的函数实现了线性收敛，并对时变拓扑具有鲁棒性，在数值稳定性和可扩展性方面优于现有方法。

ABSTRACT

In this paper, we focus on solving a distributed convex optimization problem in a network, where each agent has its own convex cost function and the goal is to minimize the sum of the agents' cost functions while obeying the network connectivity structure. In order to minimize the sum of the cost functions, we consider a new distributed gradient-based method where each node maintains two estimates, namely, an estimate of the optimal decision variable and an estimate of the gradient for the average of the agents' objective functions. From the viewpoint of an agent, the information about the decision variable is pushed to the neighbors, while the information about the gradients is pulled from the neighbors (hence giving the name "push-pull gradient method"). The method unifies the algorithms with different types of distributed architecture, including decentralized (peer-to-peer), centralized (master-slave), and semi-centralized (leader-follower) architecture. We show that the algorithm converges linearly for strongly convex and smooth objective functions over a directed static network. In our numerical test, the algorithm performs well even for time-varying directed networks.

研究动机与目标

• 解决代理具有局部目标函数并通过本地通信协作的网络中分布式凸优化问题。
• 设计一种统一的算法，适用于去中心化、集中式和半集中式网络架构。
• 在有向静态网络上对强凸且光滑的目标函数实现线性收敛，且无需使用双随机混合矩阵。
• 与基于推-求和的现有方法相比，提升数值稳定性和可扩展性，尤其在大规模或时变网络中表现更优。
• 将方法扩展至时变有向图，同时保持收敛性和稳定性。

提出的方法

• 每个代理维护两个估计值：一个用于最优决策变量（x），一个用于平均梯度（y），分别通过推操作和拉操作进行更新。
• x更新使用行随机混合矩阵，通过向邻居推送操作传播决策变量估计值。
• y更新使用列随机混合矩阵，通过从邻居拉取操作聚合梯度估计值。
• 该算法被表述为一种梯度追踪方法，结合了决策变量的共识与平均梯度的追踪。
• 该方法避免了先前算法（如Push-DIGing）中导致数值不稳定的除法操作，从而在大规模或时变环境中更具鲁棒性。
• 通过使用随机链路激活，将算法扩展至时变有向图，并在弱连通性假设下保持收敛性。

实验结果

研究问题

• RQ1 是否能在不依赖双随机权重的情况下，使分布式优化算法在有向静态网络上实现线性收敛？
• RQ2 如何设计一种统一算法，支持分布式优化中的去中心化、集中式和半集中式架构？
• RQ3 使用具有不同随机矩阵的推和拉操作，对收敛性和数值稳定性有何影响？
• RQ4 在时变有向通信图上，该算法表现如何，特别是在图的并集非强连通的情况下？
• RQ5 该算法能否避免在时变环境中因小分母导致的数值不稳定问题，如Push-DIGing中所见？

主要发现

• 推拉梯度方法在有向静态网络上对强凸且光滑的目标函数实现了线性收敛，收敛速率依赖于条件数。
• 该算法具有数值稳定性，因为它避免了在时变或大规模网络中表现差的除法操作，而Push-DIGing则因分母随Ω(n^(-Bn))缩放而出现数值问题。
• 在仿真中，该算法在静态和时变有向图上均表现良好，收敛速度更快且更稳定，而Push-DIGing的残差曲线出现明显波动。
• 该方法在领导-跟随架构下具有鲁棒性，即使活跃图的并集非强连通，也能收敛，尽管收敛速度慢于完全连通设置。
• 每个节点的存储和通信复杂度为O(p)，适用于大规模网络（n ≫ p），而Xi-row的复杂度为O(n + p)，因此更具可扩展性。
• 与Push-DIGing不同，该理论上的步长上界不随网络规模显著恶化，从而在大规模或动态网络中可实现可靠性能。