[论文解读] Fast decentralized non-convex finite-sum optimization with recursive variance reduction

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Aug 17, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用 11

一句话总结

该论文提出GT-SARAH，一种用于有向网络上非凸有限和问题的去中心化随机一阶优化算法。通过结合梯度追踪与递归方差减少（SARAH），GT-SARAH在大数据环境下实现了最优的梯度复杂度$ olimits\mathcal{O}(N^{1/2}L\epsilon^{-2})$，与集中式近似最优方法相当，并实现了节点间的非渐近线性加速。

ABSTRACT

This paper considers decentralized minimization of $N:=nm$ smooth non-convex cost functions equally divided over a directed network of $n$ nodes. Specifically, we describe a stochastic first-order gradient method, called GT-SARAH, that employs a SARAH-type variance reduction technique and gradient tracking (GT) to address the stochastic and decentralized nature of the problem. We show that GT-SARAH, with appropriate algorithmic parameters, finds an $ε$-accurate first-order stationary point with $O\big(\max\big\{N^{\frac{1}{2}},n(1-λ)^{-2},n^{\frac{2}{3}}m^{\frac{1}{3}}(1-λ)^{-1}\big\}Lε^{-2}\big)$ gradient complexity, where ${(1-λ)\in(0,1]}$ is the spectral gap of the network weight matrix and $L$ is the smoothness parameter of the cost functions. This gradient complexity outperforms that of the existing decentralized stochastic gradient methods. In particular, in a big-data regime such that ${n = O(N^{\frac{1}{2}}(1-λ)^{3})}$, this gradient complexity furthers reduces to ${O(N^{\frac{1}{2}}Lε^{-2})}$, independent of the network topology, and matches that of the centralized near-optimal variance-reduced methods. Moreover, in this regime GT-SARAH achieves a non-asymptotic linear speedup, in that, the total number of gradient computations at each node is reduced by a factor of $1/n$ compared to the centralized near-optimal algorithms that perform all gradient computations at a single node. To the best of our knowledge, GT-SARAH is the first algorithm that achieves this property. In addition, we show that appropriate choices of local minibatch size balance the trade-offs between the gradient and communication complexity of GT-SARAH. Over infinite time horizon, we establish that all nodes in GT-SARAH asymptotically achieve consensus and converge to a first-order stationary point in the almost sure and mean-squared sense.

研究动机与目标

• 解决在节点网络上分布的高维、非凸代价函数的去中心化非凸有限和优化挑战。
• 通过一种新颖的方差减少机制，克服去中心化设置中随机梯度的高方差以及缺乏一致性的问题。
• 在保持去中心化计算与通信的同时，实现与集中式近似最优算法相当的最优梯度复杂度。
• 在大数据环境下建立非渐近线性加速，其中每个节点的总梯度计算量相比集中式方法按$1/n$缩放。

提出的方法

• 提出GT-SARAH，一种将梯度追踪（GT）与SARAH方差减少技术相结合的随机一阶方法，用于去中心化非凸优化。
• 采用递归方差减少方案，利用本地随机梯度和历史估计值，在每个节点上保持低方差的梯度估计。
• 引入梯度追踪以对齐网络中各节点的估计值，确保一致性并收敛至一阶驻点。
• 采用双循环结构并进行单循环重构，以简化分析并保持收敛性保证。
• 通过自适应选择本地小批量大小，平衡梯度与通信复杂度。
• 利用新型递归不等式系统与矩阵范数界分析收敛性，推导出紧致的梯度复杂度边界。

实验结果

研究问题

• RQ1 去中心化算法是否能在非凸有限和问题中实现与集中式近似最优方差减少方法相当的梯度复杂度？
• RQ2 在大数据环境下，当$n = \mathcal{O}(N^{1/2}(1-\lambda)^3)$时，所提算法是否实现非渐近线性加速？
• RQ3 递归方差减少如何提升去中心化非凸优化中随机梯度的收敛性？
• RQ4 所提算法中梯度与通信复杂度之间的权衡关系如何？
• RQ5 该算法是否能在几乎必然意义与均方意义下确保一致性并收敛至一阶驻点？

主要发现

• GT-SARAH实现了$\mathcal{O}\big{(}\max\big{\{}N^{1/2},n(1-\lambda)^{-2},n^{2/3}m^{1/3}(1-\lambda)^{-1}\big{\}}L\epsilon^{-2}\big{)}$的梯度复杂度，优于现有去中心化随机梯度方法。
• 在大数据环境下，当$n = \mathcal{O}(N^{1/2}(1-\lambda)^3)$时，梯度复杂度降低至$\mathcal{O}(N^{1/2}L\epsilon^{-2})$，与集中式最优速率一致。
• 该算法实现了非渐近线性加速：与集中式方法相比，每个节点的总梯度计算量减少了$1/n$倍。
• 所有节点在几乎必然与均方意义下均渐近达成一致，并收敛至一阶驻点。
• 适当地选择本地小批量大小可平衡梯度与通信复杂度之间的权衡。
• 分析在$L$-平滑性与有界本地梯度方差条件下成立，且显式依赖于网络谱间隙$(1-\lambda)$。