[论文解读] A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Feb 12, 2021

Stochastic Gradient Optimization Techniques参考文献 51被引用 8

一句话总结

该论文提出 GT-HSGD，一种新颖的单循环去中心化随机梯度方法，通过结合全局梯度追踪与局部混合随机梯度估计器，实现了在非凸去中心化优化中寻找 $ε$-精确一阶驻点的网络拓扑无关的 oracle 复杂度 $O(n^{-1}θ^{-3})$，在理论和实践上均优于现有方法。

ABSTRACT

This paper considers decentralized stochastic optimization over a network of $n$ nodes, where each node possesses a smooth non-convex local cost function and the goal of the networked nodes is to find an $ε$-accurate first-order stationary point of the sum of the local costs. We focus on an online setting, where each node accesses its local cost only by means of a stochastic first-order oracle that returns a noisy version of the exact gradient. In this context, we propose a novel single-loop decentralized hybrid variance-reduced stochastic gradient method, called GT-HSGD, that outperforms the existing approaches in terms of both the oracle complexity and practical implementation. The GT-HSGD algorithm implements specialized local hybrid stochastic gradient estimators that are fused over the network to track the global gradient. Remarkably, GT-HSGD achieves a network topology-independent oracle complexity of $O(n^{-1}ε^{-3})$ when the required error tolerance $ε$ is small enough, leading to a linear speedup with respect to the centralized optimal online variance-reduced approaches that operate on a single node. Numerical experiments are provided to illustrate our main technical results.

研究动机与目标

• 为解决去中心化随机非凸优化中的挑战，其中每个节点拥有一个私有的非凸局部代价函数，且仅能通过随机一阶 oracle（SFO）访问该函数。
• 设计一种去中心化算法，使其在在线、非凸设置下，收敛速度和 oracle 复杂度优于现有方法。
• 通过消除 oracle 复杂度对网络拓扑的依赖，实现与集中式最优在线方差减少方法相当的线性加速性能。
• 开发一种兼具实际可行性和理论严谨性的算法，融合局部混合随机梯度估计器与全局梯度追踪，以实现鲁棒性能。

提出的方法

• GT-HSGD 采用全局梯度追踪机制，通过本地通信在全网范围内维护对全局梯度的估计。
• 其使用一种局部混合随机梯度估计器，将原始 SFO 梯度与 SARAH 类型的方差减少梯度相结合，降低梯度噪声，且无需计算完整梯度。
• 该算法采用单循环结构，避免了双循环方差减少方法中常见的内层循环，从而提升了实际效率。
• 它利用基于共识的通信协议，在有向网络图上同步局部估计并追踪全局梯度。
• 该方法通过平衡梯度追踪误差与方差减少，确保收敛至 $\epsilon$-精确的一阶驻点。
• 理论分析在 SFO 的均方光滑性（MSS）假设下建立收敛性，该假设在在线方差减少文献中为标准假设。

实验结果

研究问题

• RQ1 在在线 SFO 设置下，去中心化随机非凸优化算法能否实现与网络拓扑无关的 oracle 复杂度？
• RQ2 将全局梯度追踪与局部混合随机梯度估计器相结合，是否能相比现有去中心化方法实现更优的收敛速率？
• RQ3 在去中心化非凸优化中，单循环算法是否能在理论 oracle 复杂度与实际实现上均优于双循环方差减少方法？
• RQ4 在去中心化设置中，如何实现局部计算、通信与方差减少之间的最优权衡，以实现线性加速？

主要发现

• GT-HSGD 实现了 $O(n^{-1}ε^{-3})$ 的 oracle 复杂度，该复杂度与网络拓扑无关，且与最优集中式在线方差减少方法相当。
• 该算法实现了与节点数 $n$ 的线性加速，意味着收敛速率可随 $n$ 最优缩放。
• 在 oracle 复杂度方面，该方法优于 DSGD、D2、GT-DSGD 和 D-PD-SGD，尤其在非凸与随机设置下表现更优。
• 收敛保证在 SFO 的标准均方光滑性（MSS）假设下成立，该假设是在线方差减少技术所必需的。
• 数值实验验证了理论发现，表明其收敛速度更快且 oracle 使用量更低，优于基线去中心化算法。
• 该算法在通信成本与方差减少之间实现了有利的权衡，适用于大规模去中心化机器学习。