[论文解读] Parallel Restarted SPIDER -- Communication Efficient Distributed Nonconvex Optimization with Optimal Computation Complexity

Pranay Sharma, Kafle, Swatantra+4 more|arXiv (Cornell University)|Dec 12, 2019

Stochastic Gradient Optimization Techniques参考文献 43被引用 13

一句话总结

该论文提出PR-SPIDER，一种通信高效的分布式非凸优化算法，通过将SPIDER梯度估计器的方差减少技术整合到并行重启SGD框架中。该算法在有限和在线设置下均实现了最优的$O(\tilde{\rho}^{-1})$通信复杂度和最优的$O(\tilde{\rho}^{-1})$计算复杂度，显著优于先前的$O(\tilde{\rho}^{-2})$IFO复杂度，同时保持线性加速能力，并支持非独立同分布（non-i.i.d.）数据分布。

ABSTRACT

In this paper, we propose a distributed algorithm for stochastic smooth, non-convex optimization. We assume a worker-server architecture where $N$ nodes, each having $n$ (potentially infinite) number of samples, collaborate with the help of a central server to perform the optimization task. The global objective is to minimize the average of local cost functions available at individual nodes. The proposed approach is a non-trivial extension of the popular parallel-restarted SGD algorithm, incorporating the optimal variance-reduction based SPIDER gradient estimator into it. We prove convergence of our algorithm to a first-order stationary solution. The proposed approach achieves the best known communication complexity $O(ε^{-1})$ along with the optimal computation complexity. For finite-sum problems (finite $n$), we achieve the optimal computation (IFO) complexity $O(\sqrt{Nn}ε^{-1})$. For online problems ($n$ unknown or infinite), we achieve the optimal IFO complexity $O(ε^{-3/2})$. In both the cases, we maintain the linear speedup achieved by existing methods. This is a massive improvement over the $O(ε^{-2})$ IFO complexity of the existing approaches. Additionally, our algorithm is general enough to allow non-identical distributions of data across workers, as in the recently proposed federated learning paradigm.

研究动机与目标

• 解决大规模、去中心化数据下的分布式非凸优化中通信与计算成本过高的问题。
• 开发一种可扩展的算法，保持线性加速的同时实现最优收敛复杂度。
• 支持不同工作节点间非独立同分布的数据分布，使其适用于联邦学习场景。
• 将有限和在线非凸问题的迭代复杂度（IFO复杂度）降低至最优速率。

提出的方法

• 该算法通过在分布式环境中引入SPIDER梯度估计器以实现方差减少，扩展了并行重启SGD方法。
• 每个工作节点使用小批量数据计算本地SPIDER梯度，服务器在每个周期结束时聚合迭代点和梯度。
• 该方法采用重启机制，每经过$m$轮迭代后以新的初始点重启算法，以提升收敛性能。
• 每轮周期仅通信一次，通过方差减少技术在最小化通信轮次的同时保持梯度精度。
• 通过相应调整小批量大小和梯度估计器，该算法可同时处理有限和在线问题。
• 通过允许每个工作节点维护其自身的局部函数和梯度估计器，支持非独立同分布的数据分布。

实验结果

研究问题

• RQ1 能否在保持最优计算复杂度的同时，使分布式非凸优化算法实现最优通信复杂度$O(\tilde{\rho}^{-1})$？
• RQ2 该算法能否在有限和在线非凸问题中均实现$O(\tilde{\rho}^{-1})$的IFO复杂度？
• RQ3 尽管存在非独立同分布的数据分布，该算法是否仍能保持工作节点间的线性加速？
• RQ4 SPIDER的方差减少技术能否有效扩展至分布式重启框架，用于非凸优化？

主要发现

• 所提出的PR-SPIDER算法在有限和在线问题中均实现了$O(\tilde{\rho}^{-1})$的最优通信复杂度。
• 对于有限和问题，IFO复杂度为$O\left(\frac{\sqrt{Nn}}{\epsilon}\right)$，该结果为最优，相比先前的$O(\tilde{\rho}^{-2})$复杂度有显著提升。
• 对于在线问题，IFO复杂度为$O\left(\frac{\sigma}{\epsilon^{3/2}} + \frac{\sigma^2}{\epsilon}\right)$，该结果为最优，相比先前的$O(\tilde{\rho}^{-2})$速率有重大改进。
• 该算法在$N$个工作节点间保持了线性加速，确保收敛速率随工作节点数量的增加而有利提升。
• 该方法对非独立同分布的数据分布具有鲁棒性，适用于联邦学习及其他去中心化学习场景。
• 理论分析证实，在标准光滑性和有界方差假设下，算法可收敛至$\epsilon$-一阶平稳点。