[论文解读] Achieving Geometric Convergence for Distributed Optimization over Time-Varying Graphs

Angelia Nedich, Alex Olshevsky+1 more|arXiv (Cornell University)|Jul 12, 2016

Distributed Control Multi-Agent Systems被引用 31

一句话总结

该论文提出了 DIGing 和 Push-DIGing 两种分布式优化算法，分别在时变无向图和有向图上实现固定步长和梯度追踪下的 R-线性（几何）收敛。主要贡献在于：在强凸性条件下，即使在时变拓扑结构下，且有向图中无需双随机矩阵，也能实现可证明的几何收敛。

ABSTRACT

This paper considers the problem of distributed optimization over time-varying graphs. For the case of undirected graphs, we introduce a distributed algorithm, referred to as DIGing, based on a combination of a distributed inexact gradient method and a gradient tracking technique. The DIGing algorithm uses doubly stochastic mixing matrices and employs fixed step-sizes and, yet, drives all the agents' iterates to a global and consensual minimizer. When the graphs are directed, in which case the implementation of doubly stochastic mixing matrices is unrealistic, we construct an algorithm that incorporates the push-sum protocol into the DIGing structure, thus obtaining Push-DIGing algorithm. The Push-DIGing uses column stochastic matrices and fixed step-sizes, but it still converges to a global and consensual minimizer. Under the strong convexity assumption, we prove that the algorithms converge at R-linear (geometric) rates as long as the step-sizes do not exceed some upper bounds. We establish explicit estimates for the convergence rates. When the graph is undirected it shows that DIGing scales polynomially in the number of agents. We also provide some numerical experiments to demonstrate the efficacy of the proposed algorithms and to validate our theoretical findings.

研究动机与目标

• 开发在时变通信图（无向和有向）上实现几何收敛的分布式优化算法。
• 使固定步长方法在有向图中无需使用双随机混合矩阵也能实现线性收敛。
• 在强凸性条件下提供显式的收敛速率上界，优于以往工作的次线性或 Q-线性收敛速率。
• 通过在时变无向图和有向图上的数值实验验证理论结果。
• 将分布式优化的适用范围扩展到动态网络拓扑，且对图结构的假设尽可能少。

提出的方法

• 针对无向图提出 DIGing 算法，结合分布式近似梯度法、梯度追踪与双随机混合矩阵。
• 采用固定步长，确保所有代理在时变连通性下仍能收敛至全局一致的最小值点。
• 通过将推送-求和协议集成到 DIGing 框架中，构建适用于有向图的 Push-DIGing 算法，以保持使用列随机矩阵时的收敛性。
• 利用小增益定理建立在强凸性条件下的 R-线性收敛性，并推导出步长的显式上界。
• 在无向图中使用 Metropolis 权重构造混合矩阵，在有向图中使用基于出度的权重以保证与推送-求和协议的兼容性。
• 推导出收敛速率估计，其在无向图情况下与代理数量呈多项式关系。

实验结果

研究问题

• RQ1 能否在时变无向图上，使用固定步长实现分布式优化算法的 R-线性收敛？
• RQ2 在有向图中，当双随机矩阵不切实际时，如何实现几何收敛？
• RQ3 在时变设置下，保证几何收敛的步长显式上界是什么？
• RQ4 在时变无向网络中，收敛速率如何随代理数量变化？
• RQ5 所提出的算法在收敛速度和通信成本方面能否优于现有方法（如 push-gradient 或 EXTRA）？

主要发现

• DIGing 在时变无向图上使用固定步长和双随机混合矩阵，即使缺乏全局网络信息，也能实现 R-线性收敛。
• Push-DIGing 通过使用列随机矩阵和推送-求和协议，在时变有向图上确保几何收敛，避免了图平衡的需求。
• 收敛速率被显式界定，依赖于强凸性和利普希茨梯度常数，且步长被限制在推导出的上界之内。
• 数值实验表明，DIGing 及其变体以 R-线性速率收敛，而 push-gradient 即使在强凸性条件下也仅表现出次线性收敛。
• DIGing-ATC 在迭代次数上比 DIGing 更快收敛，但每轮迭代的通信成本更高；Push-DIGing 在每轮通信成本仅为一半的情况下，达到与 DIGing-ATC 相当的收敛速度。
• EXTRA 和 DIGing 在相同步长下表现出几乎相同的收敛曲线，验证了在无向图中理论性能的等价性。