[论文解读] Distributed heavy-ball: A generalization and acceleration of first-order methods with gradient tracking

Ran Xin, Usman A. Khan|arXiv (Cornell University)|Aug 8, 2018

Distributed Control Multi-Agent Systems参考文献 52被引用 7

一句话总结

本文提出 $σ$ABm，一种结合梯度追踪与重球动量的分布式优化算法，可在无向图和有向图上实现加速的 R-线性收敛。通过使用非相同的局部步长，并同时应用行随机权重与列随机权重，$σ$ABm 消除了对双重随机权重或特征向量估计的需求，统一了现有方法，并在病态条件问题中实现了更快的收敛速度。

ABSTRACT

We study distributed optimization to minimize a global objective that is a sum of smooth and strongly-convex local cost functions. Recently, several algorithms over undirected and directed graphs have been proposed that use a gradient tracking method to achieve linear convergence to the global minimizer. However, a connection between these different approaches has been unclear. In this paper, we first show that many of the existing first-order algorithms are in fact related with a simple state transformation, at the heart of which lies the $\mathcal{AB}$ algorithm. We then describe extit{distributed heavy-ball}, denoted as $\mathcal{AB}m$, i.e., $\mathcal{AB}$ with momentum, that combines gradient tracking with a momentum term and uses nonidentical local step-sizes. By simultaneously implementing both row- and column-stochastic weights, $\mathcal{AB}m$ removes the conservatism in the related work due to doubly-stochastic weights or eigenvector estimation. $\mathcal{AB}m$ thus naturally leads to optimization and average-consensus over both undirected and directed graphs, casting a unifying framework over several well-known consensus algorithms over arbitrary strongly-connected graphs. We show that $\mathcal{AB}m$ has a global $R$-linear rate when the largest step-size is positive and sufficiently small. Following the standard practice in the heavy-ball literature, we numerically show that $\mathcal{AB}m$ achieves accelerated convergence especially when the objective function is ill-conditioned.

研究动机与目标

• 在统一框架下整合现有的带有梯度追踪的分布式一阶方法。
• 解决先前算法中双重随机权重与特征向量估计的局限性。
• 在分布式优化中加速收敛，尤其针对病态条件的目标函数。
• 开发一种自然扩展至无向图与有向图的方法，而无需结构假设。

提出的方法

• 提出 $σ$ABm，一种将动量整合到 $σ$AB 算法中的分布式重球方法，通过状态变换实现。
• 使用非相同的局部步长，并同时应用行随机（RS）和列随机（CS）权重，以避免双重随机权重带来的保守性。
• 采用梯度追踪机制，利用局部信息与邻居通信来估计全局梯度。
• 通过分析增广系统矩阵的谱性质，推导收敛保证，证明当最大步长为正且足够小时，可实现 R-线性收敛。
• 证明 $σ$ABm 作为特例包含了新型平均一致性算法，统一了先前方法。
• 采用网格搜索对动量参数 ($\alpha$, $\beta$) 进行调优，以最小化系统矩阵偏差的谱半径。

实验结果

研究问题

• RQ1 能否构建一个统一框架，将多种带有梯度追踪的分布式一阶方法联系起来？
• RQ2 在梯度追踪中引入动量是否能提升分布式优化中的收敛速度？
• RQ3 使用非相同的步长以及混合的 RS/CS 权重是否能消除对特征向量估计或双重随机权重的需求？
• RQ4 所提方法是否能实现加速收敛，尤其在病态条件问题中？
• RQ5 该算法能否自然地应用于无向图与有向图，而无需结构假设？

主要发现

• $σ$ABm 算法在光滑且强凸的目标函数下，当最大步长为正且足够小时，可实现全局 R-线性收敛。
• 数值结果表明，$σ$ABm 在病态条件问题中优于集中式梯度下降，动量带来的加速效果显著。
• $σ$ABm 中系统矩阵偏差的谱半径小于过剩一致性（surplus consensus）方法，表明其在平均一致性任务中收敛更快。
• 该方法统一了多种现有算法，包括基于 EXTRA、Aug-DGM 和 ADD-OPT 的方法，均隶属于 $σ$AB 框架。
• 使用行随机与列随机权重避免了双重随机权重的保守性，同时消除了对特征向量估计的需求。
• 网格搜索确定了使谱半径最小化的最优动量参数 ($\alpha^*$, $\beta^*$)，证实了在平均一致性任务中具有加速潜力。