[论文解读] Geometric Convergence for Distributed Optimization with Barzilai-Borwein Step Sizes

Juan Gao, Xinwei Liu+3 more|arXiv (Cornell University)|Jul 18, 2019

Distributed Control Multi-Agent Systems参考文献 51被引用 4

一句话总结

该论文提出DGM-BB-C，一种使用Barzilai-Borwein（BB）步长的分布式梯度方法，可在多智能体优化中实现对精确最优解的几何收敛。通过结合自适应-合并动态平均一致性与多一致性内循环，该方法使每个智能体仅使用本地信息即可计算自身步长，从而在保持线性收敛的同时实现更大、自适应的步长，且无需增加一致性步数。

ABSTRACT

We consider a distributed multi-agent optimization problem over a time-invariant undirected graph, where each agent possesses a local objective function and all agents collaboratively minimize the average of all objective functions through local computations and communications among neighbors. Recently, a class of distributed gradient methods has been proposed that achieves both exact and geometric convergence when a constant step size is used. The geometric convergence of these methods is ensured for conservatively selected step sizes, but how to choose an appropriate step size while running the algorithms has not been fully addressed. The Barzilai-Borwein (BB) method is a simple and effective technique for step sizes and requires few storage and inexpensive computations. It has been widely applied in various areas. In this paper, we introduce the BB method to distributed optimization. Based on an adapt-then-combine variation of the dynamic average consensus approach and using multi-consensus inner loops, we propose a distributed gradient method with BB step sizes (DGM-BB-C). Our method computes the step size for each agent automatically which only depends on its local information and is independent of that for other agents, and the larger step sizes are always permissible. Our method can seek the exact optimum when the number of consensus steps stays constant. We prove that DGM-BB-C has geometric convergence to the optimal solution. Simulation results on a distributed sensing problem show that our method is superior to some advanced methods in terms of iterations, gradient evaluations, communications and the related cost framework. These results validate our theoretical discoveries.

研究动机与目标

• 解决在分布式梯度方法中选择合适常数步长以确保精确且几何收敛的挑战。
• 开发一种分布式优化算法，使每个智能体仅使用本地信息自动计算其步长，避免全局协调。
• 在保持线性收敛的同时实现更大、自适应的步长，克服固定或递减步长的局限性。
• 在保持恒定一致性迭代次数的前提下实现精确收敛，不同于需要增加内循环的方法。
• 通过分布式传感和最小二乘问题上的数值实验验证理论收敛性。

提出的方法

• 该方法采用自适应-合并动态平均一致性的变体，以追踪各智能体间梯度的平均值。
• 通过多一致性内循环提高梯度追踪的精度和收敛稳定性。
• 每个智能体基于本地梯度差异计算其自身的Barzilai-Borwein步长，消除对其他智能体步长的依赖。
• 在本地应用BB步长规则，允许更大且自适应的步长，从而提升收敛速度。
• 该算法设计确保即使在步长未协调、较大时，也能保持几何收敛。
• 在强凸性和光滑性假设下，证明该方法可线性收敛至精确解。

实验结果

研究问题

• RQ1 Barzilai-Borwein步长能否有效应用于分布式优化，以实现使用更大、自适应步长的几何收敛？
• RQ2 所提方法在保持恒定一致性步数时是否仍能维持精确收敛，而无需像以往方法那样增加内循环？
• RQ3 基于BB的分布式方法在迭代次数、梯度评估次数和通信成本方面，与最先进算法相比表现如何？
• RQ4 在不同网络连通性下，收敛速率能否实现理论界定并经实证验证？
• RQ5 在分布式设置中，最大BB步长与收敛速率之间存在何种关系？

主要发现

• DGM-BB-C在平滑且强凸函数下实现了对精确最优解的几何收敛，即使在恒定一致性步数下也成立。
• 与现有方法相比，该算法允许更大的步长，例如EXTRA和ATC-DIGing要求步长低于1/(2L)或2μ/L²。
• 数值结果表明，DGM-BB-C在迭代次数、梯度评估次数和通信次数方面均优于DGD、NEAR-DGD+、EXTRA、DIGing和ATC-DIGing。
• 对于连通概率为0.1的网络，R=4时DGM-BB-C性能最佳；对于连通概率为0.3的网络，R=3为最优，表明其对网络结构具有自适应能力。
• 计算得到的谱半径ρ(G^α)约为0.871，与理论收敛速率估计一致。
• 最大BB步长α_max达到1.836，远在理论边界范围内，证实了自适应步长规则的鲁棒性与实用性。