[论文解读] AB/Push-Pull Method for Distributed Optimization in Time-Varying Directed Networks

Angelia Nedich, Duong Thuy Anh Nguyen+1 more|arXiv (Cornell University)|Sep 14, 2022

Distributed Control Multi-Agent Systems被引用 4

一句话总结

该论文提出了一种用于时变有向网络中分布式优化的AB/Push-Pull方法，通过同时使用行随机和列随机混合矩阵来追踪最优决策与平均梯度。该方法建立了线性收敛性，并基于图直径、代价函数特性及矩阵连通性，推导出显式的步长上界，相较于先前工作，将收缩参数与网络结构直接关联，实现了改进。

ABSTRACT

In this paper, we study the distributed optimization problem for a system of agents embedded in time-varying directed communication networks. Each agent has its own cost function and agents cooperate to determine the global decision that minimizes the summation of all individual cost functions. We consider the so-called push-pull gradient-based algorithm (termed as AB/Push-Pull) which employs both row- and column-stochastic weights simultaneously to track the optimal decision and the gradient of the global cost while ensuring consensus and optimality. We show that the algorithm converges linearly to the optimal solution over a time-varying directed network for a constant stepsize when the agent's cost function is smooth and strongly convex. The linear convergence of the method has been shown in Saadatniaki et al. (2020), where the multi-step consensus contraction parameters for row- and column-stochastic mixing matrices are not directly related to the underlying graph structure, and the explicit range for the stepsize value is not provided. With respect to Saadatniaki et al. (2020), the novelty of this work is twofold: (1) we establish the one-step consensus contraction for both row- and column-stochastic mixing matrices with the contraction parameters given explicitly in terms of the graph diameter and other graph properties; and (2) we provide explicit upper bounds for the stepsize value in terms of the properties of the cost functions, the mixing matrices, and the graph connectivity structure.

研究动机与目标

• 解决时变有向网络中的分布式优化问题，其中各 agent 拥有局部代价函数，需协同最小化总和。
• 提出一种基于梯度的方法，在代价函数光滑且强凸的条件下确保线性收敛。
• 为 AB/Push-Pull 算法中的步长提供显式、依赖图结构的上界。
• 利用图直径与连通性度量，建立对行随机与列随机矩阵的一步一致性收缩性质。
• 将先前针对静态有向图的 AB/Push-Pull 收敛结果，扩展至时变有向图，并提供更强的分析保证。

提出的方法

• 该方法使用两个独立的混合矩阵：行随机矩阵用于推送决策估计，列随机矩阵用于拉取梯度信息。
• 每个 agent 维护两个估计值：一个用于最优决策变量，另一个用于本地代价函数的平均梯度。
• 该算法以推送-拉取方式运行：通过行随机矩阵推送决策，通过列随机矩阵拉取梯度。
• 利用图直径与连通性结构推导收缩性质，确保两个估计值的一致性。
• 收敛性分析依赖于对由算法动态导出的系统矩阵谱半径的有界性。
• 通过求解涉及利普希茨常数、强凸性参数与混合矩阵特性的不等式组，推导出显式的步长上界。

实验结果

研究问题

• RQ1 AB/Push-Pull 方法是否能在光滑且强凸代价函数的时变有向网络中实现线性收敛？
• RQ2 如何基于网络结构与函数特性，显式地界定步长上界以确保收敛？
• RQ3 混合矩阵的收缩参数与图的直径及连通性之间存在何种关系？
• RQ4 在病态条件与非平衡网络中，该方法与 Push-DIGing 的性能相比如何？
• RQ5 该方法能否扩展至具有周期性强连通性而非统一强连通性的网络？

主要发现

• AB/Push-Pull 方法在时变有向网络中，对光滑且强凸的代价函数，可实现对全局最小值的线性收敛。
• 行随机与列随机矩阵的收缩参数显式关联于图直径及其他结构特性。
• 推导出显式的步长上界，其依赖于利普希茨常数、强凸性参数及混合矩阵特性。
• 由于允许更大的步长，该方法在病态问题与非平衡网络中，收敛速度优于 Push-DIGing。
• 当图序列满足 C-强连通性时，收敛性分析依然成立，从而将适用范围扩展至周期性网络连通性。
• 当步长选择在所推导的显式范围内时，系统矩阵的谱半径小于 1，从而确保线性收敛。