[论文解读] Fast Distributed Gradient Methods

Dušan Jakovetić, João Xavier+1 more|arXiv (Cornell University)|Dec 13, 2011

Stochastic Gradient Optimization Techniques参考文献 41被引用 21

一句话总结

本文提出两种快速的分布式梯度算法——分布式Nesterov梯度（D-NG）和带一致性迭代的分布式Nesterov梯度（D-NC）——用于求解具有Lipschitz连续且有界梯度的分布式凸优化问题。通过利用Nesterov加速和网络一致性机制，这些方法实现了O(1/k²)和O(1/K²−ξ)的收敛速率，显著优于标准分布式梯度方法，后者受限于Ω(1/k²/³)的收敛速率。

ABSTRACT

We study distributed optimization problems when $N$ nodes minimize the sum of their individual costs subject to a common vector variable. The costs are convex, have Lipschitz continuous gradient (with constant $L$), and bounded gradient. We propose two fast distributed gradient algorithms based on the centralized Nesterov gradient algorithm and establish their convergence rates in terms of the per-node communications $\mathcal{K}$ and the per-node gradient evaluations $k$. Our first method, Distributed Nesterov Gradient, achieves rates $O\left({\log \mathcal{K}}/{\mathcal{K}} ight)$ and $O\left({\log k}/{k} ight)$. Our second method, Distributed Nesterov gradient with Consensus iterations, assumes at all nodes knowledge of $L$ and $μ(W)$ -- the second largest singular value of the $N imes N$ doubly stochastic weight matrix $W$. It achieves rates $O\left({1}/{\mathcal{K}^{2-ξ}} ight)$ and $O\left({1}/{k^2} ight)$ ($ξ>0$ arbitrarily small). Further, we give with both methods explicit dependence of the convergence constants on $N$ and $W$. Simulation examples illustrate our findings.

研究动机与目标

• 解决在全局知识有限的网络中分布式优化对更快收敛的需求。
• 设计能够实现与集中式Nesterov方法相当加速收敛速率的分布式算法。
• 以每轮节点通信次数K和梯度评估次数k为指标，建立收敛速率理论，显式考虑网络拓扑结构对收敛的影响，通过µ(W)体现。
• 证明在分布式设置中，有界梯度假设对快速收敛至关重要，这与集中式优化不同。
• 提供理论和基于仿真的证据，表明所提方法在所考虑的函数类上严格优于现有的分布式梯度和对偶平均方法。

提出的方法

• 提出D-NG，即集中式Nesterov梯度方法的分布式变体，每k次梯度评估仅进行一次通信，采用自适应步长和动量项。
• 引入D-NC，其在每个节点增加额外的一致性迭代，假设已知全局信息L（Lipschitz常数）和µ(W)（权重矩阵W的第二大奇异值）。
• 利用李雅普诺夫函数和权重矩阵W的特征值分析推导收敛边界，通过µ(W)将收敛性与网络连通性关联。
• 为D-NC建立O(1/k²)和O(1/K²−ξ)的速率边界，为D-NG建立O(log k/k)和O(log k/k)的边界，显式体现对N和W的依赖。
• 通过W = QΛQ⊤的特征分解分析状态演化，推导估计误差和最优性间隙的边界。
• 证明现有方法（如[8]）的最坏情况收敛速率下界，以证明所提加速方案的优越性。

实验结果

研究问题

• RQ1 在对网络参数全局知识有限的条件下，Nesterov加速能否有效适配到分布式优化中？
• RQ2 当函数具有Lipschitz连续且有界梯度时，在分布式设置中可实现何种收敛速率？
• RQ3 网络拓扑结构（以µ(W)量化）如何影响分布式梯度方法的收敛速度？
• RQ4 为何在分布式设置中，有界梯度假设对快速收敛至关重要，而集中式优化中并非如此？
• RQ5 所提方法能否在相同函数类上实现比现有分布式梯度和对偶平均方法更快的收敛速度？

主要发现

• D-NC在梯度评估次数k上实现O(1/k²)的收敛速率，在通信次数K上实现O(1/K²−ξ)的收敛速率，其中ξ > 0可任意小。
• 当缺乏L和µ(W)的全局知识时，D-NG实现O(log k/k)的收敛速率；当L和µ(W)已知时，收敛速率提升至O(1/k²)。
• 标准分布式梯度方法[8]的最坏情况收敛速率下界为Ω(1/k²/³)，证明其无法与所提加速方法相媲美。
• 两种方法的收敛常数显式依赖于网络规模N和第二大奇异值µ(W)，量化了网络连通性的影响。
• 当有界梯度假设被移除时，D-NG和D-NC的收敛速度均会变得任意缓慢，凸显其与集中式Nesterov方法的关键差异。
• 仿真结果证实，即使在相同函数类F的限制下，D-NC和D-NG在收敛速度上也显著优于[8]和[14]。