[论文解读] Improving the Sample and Communication Complexity for Decentralized Non-Convex Optimization: A Joint Gradient Estimation and Tracking Approach

Haoran Sun, Songtao Lu+1 more|arXiv (Cornell University)|Oct 13, 2019

Stochastic Gradient Optimization Techniques参考文献 64被引用 12

一句话总结

该论文提出 D-GET，一种去中心化随机优化算法，通过联合执行局部梯度估计与全局梯度追踪，降低非凸问题中的样本复杂度与通信复杂度。其在有限和问题中达到最优的 $Ø(mn^{1/2}ε^{-1})$ 样本复杂度与 $Ø(ε^{-1})$ 通信复杂度，在在线问题中实现 $Ø(mε^{-3/2})$ 的样本复杂度，显著优于现有方法的界限。

ABSTRACT

Many modern large-scale machine learning problems benefit from decentralized and stochastic optimization. Recent works have shown that utilizing both decentralized computing and local stochastic gradient estimates can outperform state-of-the-art centralized algorithms, in applications involving highly non-convex problems, such as training deep neural networks. In this work, we propose a decentralized stochastic algorithm to deal with certain smooth non-convex problems where there are $m$ nodes in the system, and each node has a large number of samples (denoted as $n$). Differently from the majority of the existing decentralized learning algorithms for either stochastic or finite-sum problems, our focus is given to both reducing the total communication rounds among the nodes, while accessing the minimum number of local data samples. In particular, we propose an algorithm named D-GET (decentralized gradient estimation and tracking), which jointly performs decentralized gradient estimation (which estimates the local gradient using a subset of local samples) and gradient tracking (which tracks the global full gradient using local estimates). We show that, to achieve certain $ε$ stationary solution of the deterministic finite sum problem, the proposed algorithm achieves an $\mathcal{O}(mn^{1/2}ε^{-1})$ sample complexity and an $\mathcal{O}(ε^{-1})$ communication complexity. These bounds significantly improve upon the best existing bounds of $\mathcal{O}(mnε^{-1})$ and $\mathcal{O}(ε^{-1})$, respectively. Similarly, for online problems, the proposed method achieves an $\mathcal{O}(m ε^{-3/2})$ sample complexity and an $\mathcal{O}(ε^{-1})$ communication complexity, while the best existing bounds are $\mathcal{O}(mε^{-2})$ and $\mathcal{O}(ε^{-2})$, respectively.

研究动机与目标

• 解决大规模机器学习中去中心化非凸优化的高样本与通信复杂度问题。
• 克服现有去中心化算法的局限性，这些算法或需全批量梯度计算，或面临高通信轮次。
• 设计一种方法，同时最小化本地数据访问与节点间通信，同时保持收敛至 $\epsilon$-平稳解。
• 在去中心化非凸优化中，为有限和与在线设置实现更优的理论复杂度界限。

提出的方法

• 提出 D-GET，一种去中心化算法，结合基于一致性网络结构的局部随机梯度估计与全局梯度追踪。
• 采用两级采样策略：每 $q$-轮迭代使用大批次进行全梯度估计，使用小批次进行方差减少的梯度追踪。
• 引入梯度追踪机制，利用局部估计与通过混合矩阵 $\mathbf{W}$ 的网络平均，维持对全局梯度的估计。
• 利用方差减少技术控制随机梯度中的估计误差，确保在采样噪声下仍能收敛。
• 设计一种混合更新规则，交替执行局部更新与全局梯度追踪，并周期性重新估计全批量梯度。
• 将问题形式化为网络上的共识优化问题，每个节点维护一个本地变量，并仅与邻居通信。

实验结果

研究问题

• RQ1 联合梯度估计与追踪是否能减少去中心化非凸优化中达到 $\epsilon$-平稳解所需的总本地数据样本数？
• RQ2 在去中心化随机优化中，通信复杂度如何随期望精度 $\epsilon$ 变化？
• RQ3 所提方法在有限和与在线设置中是否均能实现优于现有去中心化算法的样本复杂度？
• RQ4 在去中心化非凸优化中，本地计算（样本复杂度）与节点间通信（轮次复杂度）之间的理论权衡是什么？
• RQ5 使用方差减少的梯度追踪是否能带来相较于标准去中心化随机梯度方法的更优收敛速率？

主要发现

• 对于有限和问题，D-GET 实现了 $Ø(mn^{1/2}\epsilon^{-1})$ 的样本复杂度，优于现有最佳界限 $Ø(mn\epsilon^{-1})$。
• D-GET 的通信复杂度为 $Ø(\epsilon^{-1})$，与现有最佳界限一致，但样本使用量显著降低。
• 对于在线问题，D-GET 实现了 $Ø(m\epsilon^{-3/2})$ 的样本复杂度，优于先前最佳的 $Ø(m\epsilon^{-2})$。
• 在线问题中，通信复杂度仍为 $Ø(\epsilon^{-1})$，优于现有方法所需的 $Ø(\epsilon^{-2})$ 轮次。
• 理论分析证实，在标准光滑性与有界方差假设下，该算法以高概率收敛至 $\epsilon$-平稳解。
• 该方法在本地计算与通信之间实现了最优权衡，适用于具有隐私与可扩展性约束的大规模去中心化学习。