[论文解读] A near-optimal stochastic gradient method for decentralized non-convex finite-sum optimization.

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Aug 17, 2020

Stochastic Gradient Optimization Techniques参考文献 2被引用 9

一句话总结

该论文提出 GT-SARAH，一种用于去中心化非凸有限和优化的近似最优随机梯度方法，结合了局部 SARAH 类方差减少与全局梯度追踪。在对网络规模和谱间隙满足特定条件时，其在所有节点上的总梯度计算复杂度达到 ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$，与算法下界一致，并通过将每个节点的工作量减少 $1/n$ 的因子，实现了非渐近线性加速。

ABSTRACT

This paper describes a $near$-$optimal$ stochastic first-order gradient method for decentralized finite-sum minimization of smooth non-convex functions. Specifically, we propose GT-SARAH that employs a local SARAH-type variance reduction and global gradient tracking to address the stochastic and decentralized nature of the problem. Considering a total number of $N$ cost functions, equally divided over a directed network of $n$ nodes, we show that GT-SARAH finds an $\epsilon$-accurate first-order stationary point in ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$ gradient computations across all nodes, independent of the network topology, when ${n\leq\mathcal{O}(N^{1/2}(1-\lambda)^{3})}$, where ${(1-\lambda)}$ is the spectral gap of the network weight matrix. In this regime, GT-SARAH is thus, to the best our knowledge, the first decentralized method that achieves the algorithmic lower bound for this class of problems. Moreover, GT-SARAH achieves a $non$-$asymptotic$ $linear$ $speedup$, in that, the total number of gradient computations at each node is reduced by a factor of $1/n$ compared to the near-optimal algorithms for this problem class that process all data at a single node. We also establish the convergence rate of GT-SARAH in other regimes, in terms of the relative sizes of the number of nodes $n$, total number of functions $N$, and the network spectral gap $(1-\lambda)$. Over infinite time horizon, we establish the almost sure and mean-squared convergence of GT-SARAH to a first-order stationary point.

研究动机与目标

• 解决去中心化非凸有限和优化中使用随机梯度和有限通信的挑战。
• 通过实现近似最优收敛速率，克服现有去中心化方法的低效性。
• 通过利用局部方差减少与全局梯度追踪，实现节点间梯度计算的线性加速。
• 在一般网络拓扑结构与有限和结构下，建立收敛保证。
• 在特定网络规模与谱间隙范围内，实现该类问题的理论算法下界。

提出的方法

• 提出一种去中心化随机一阶方法，结合局部 SARAH 类方差减少与全局梯度追踪。
• 将总优化问题分解至 $n$ 个节点，每个节点处理 $N/n$ 个函数，每个节点维护对全局梯度的局部估计。
• 使用局部 SARAH 类更新以减少每个节点的随机梯度方差，提升收敛稳定性。
• 通过加权网络矩阵实现全局梯度追踪，使局部梯度估计与真实全局梯度对齐。
• 通过调节网络权重矩阵的谱间隙 $(1 - \lambda)$ 来控制通信与计算之间的权衡。
• 通过在迭代过程中保持一致的梯度追踪与方差减少更新，确保收敛。

实验结果

研究问题

• RQ1 去中心化随机梯度方法能否在非凸有限和问题中达到算法下界？
• RQ2 所提出的方法是否在与集中式近似最优方法相比时，实现了节点间梯度计算的非渐近线性加速？
• RQ3 网络谱间隙 $(1 - \lambda)$ 与节点数 $n$ 如何影响算法的收敛速率？
• RQ4 该方法在无限时间范围内，其几乎必然收敛与均方收敛的行为如何？
• RQ5 该方法能否在 $n$、$N$ 与 $(1 - \lambda)$ 的不同参数范围内保持近似最优性？

主要发现

• GT-SARAH 实现了 ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$ 的总梯度计算量（所有节点合计），以达到 $\epsilon$-精确的一阶驻点，与已知的算法下界一致。
• 在条件 $n \leq \mathcal{O}(N^{1/2}(1 - \lambda)^3)$ 下，GT-SARAH 达到了理论下界，使其成为首个实现此目标的去中心化方法。
• 该方法实现了非渐近线性加速：与集中式近似最优算法相比，每个节点的总梯度计算量减少了 $1/n$ 的因子。
• 在无限时间范围内，几乎必然收敛与均方收敛均得到证明，确认了对随机噪声的鲁棒性。
• 收敛速率在多个参数范围内进行了分析，显示出对 $n$、$N$ 与谱间隙 $(1 - \lambda)$ 的依赖关系，并提供了明确的上界。
• 由于采用梯度追踪与方差减少，该方法在一般有向网络拓扑结构下均表现有效，且不依赖于具体网络结构。