[论文解读] D-SPIDER-SFO: A Decentralized Optimization Algorithm with Faster Convergence Rate for Nonconvex Problems

Taoxing Pan, Jun Liu+1 more|arXiv (Cornell University)|Nov 28, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用 4

一句话总结

本文提出 D-SPIDER-SFO，一种用于非凸问题的去中心化优化算法，其梯度计算成本为 𝒪(𝜖⁻³)，可找到 𝜖-近似的一阶平稳点——与其中心化对应算法 SPIDER-SFO 的最先进性能相匹配。该方法利用方差缩减与去中心化一致性机制，在对等网络中实现更快收敛并保持通信负载均衡。

ABSTRACT

Decentralized optimization algorithms have attracted intensive interests recently, as it has a balanced communication pattern, especially when solving large-scale machine learning problems. Stochastic Path Integrated Differential Estimator Stochastic First-Order method (SPIDER-SFO) nearly achieves the algorithmic lower bound in certain regimes for nonconvex problems. However, whether we can find a decentralized algorithm which achieves a similar convergence rate to SPIDER-SFO is still unclear. To tackle this problem, we propose a decentralized variant of SPIDER-SFO, called decentralized SPIDER-SFO (D-SPIDER-SFO). We show that D-SPIDER-SFO achieves a similar gradient computation cost---that is, $\mathcal{O}(ε^{-3})$ for finding an $ε$-approximate first-order stationary point---to its centralized counterpart. To the best of our knowledge, D-SPIDER-SFO achieves the state-of-the-art performance for solving nonconvex optimization problems on decentralized networks in terms of the computational cost. Experiments on different network configurations demonstrate the efficiency of the proposed method.

研究动机与目标

• 开发 SPIDER-SFO 的去中心化变体，使其在非凸优化中达到与中心化对应算法相同的收敛速率。
• 解决去中心化非凸优化中快速收敛速率的空白，特别是在通信负载成为瓶颈的场景下。
• 通过利用方差缩减技术，在去中心化网络中实现更快收敛并降低计算成本。
• 证明去中心化算法可在非凸设置中实现接近最优的梯度复杂度，与理论下界相匹配。

提出的方法

• 提出 D-SPIDER-SFO，即 SPIDER-SFO 算法的去中心化扩展，采用带有方差缩减的局部随机梯度估计器。
• 采用基于一致性的更新规则，每个节点仅与其邻居通信，以保持通信负载均衡。
• 引入一种混合采样策略，包含三个超参数：S₁、S₂ 和 q，用于控制每次迭代中用于梯度估计的样本数量。
• 使用递减步长和自适应采样，以在迭代过程中平衡收敛速度与方差缩减。
• 应用一种局部更新机制，结合多个样本的梯度信息以减少方差，同时保持去中心化特性。
• 理论分析基于对局部迭代点平均值处梯度期望范数的有界性，确保收敛至 𝜖-近似平稳点。

实验结果

研究问题

• RQ1 去中心化优化算法能否在非凸问题中实现与 SPIDER-SFO 相同的 𝒪(𝜖⁻³) 梯度计算成本？
• RQ2 D-SPIDER-SFO 在通信负载均衡的去中心化网络约束下是否仍能保持快速收敛？
• RQ3 D-SPIDER-SFO 的通信成本与中心化 SPIDER-SFO 及其他去中心化基线（如 D-PSGD 或 D²）相比如何？
• RQ4 D-SPIDER-SFO 在梯度范数和期望函数值下降方面的理论收敛保证是什么？

主要发现

• D-SPIDER-SFO 实现了 𝒪(𝜖⁻³) 的梯度计算成本以找到 𝜖-近似的一阶平稳点，与非凸问题的理论下界相匹配。
• 该算法在收敛速率上与中心化 SPIDER-SFO 保持一致，使其成为去中心化非凸优化中的最先进方法。
• 与中心化 SPIDER-SFO 相比，该方法显著降低了最活跃节点的通信负担，提升了在高延迟网络中的可扩展性。
• 在包含 8 个节点的 CPU 集群上的实验表明，D-SPIDER-SFO 在收敛速度和稳定性方面优于 D-PSGD 和 D²。
• 理论分析证实，平均迭代点处的期望梯度范数在 K 次迭代内收敛至 𝒪(𝜖²)，总梯度成本被限制在 𝒪(𝜖⁻³) 以内。