[论文解读] A fast randomized incremental gradient method for decentralized non-convex optimization

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Nov 7, 2020

Stochastic Gradient Optimization Techniques参考文献 68被引用 4

一句话总结

该论文提出GT-SAGA，一种单时标去中心化随机增量梯度方法，结合节点级方差减少与网络级梯度追踪，以解决网络上的非凸有限和优化问题。它实现了几乎必然收敛到一阶驻点，并在Polyak-Łojasiewicz条件下实现线性收敛，且在实际应用场景中迭代复杂度与网络拓扑无关，优于现有双时标方法，无需周期性批量梯度计算或同步。

ABSTRACT

We study decentralized non-convex finite-sum minimization problems described over a network of nodes, where each node possesses a local batch of data samples. In this context, we analyze a single-timescale randomized incremental gradient method, called GT-SAGA. GT-SAGA is computationally efficient as it evaluates one component gradient per node per iteration and achieves provably fast and robust performance by leveraging node-level variance reduction and network-level gradient tracking. For general smooth non-convex problems, we show the almost sure and mean-squared convergence of GT-SAGA to a first-order stationary point and further describe regimes of practical significance where it outperforms the existing approaches and achieves a network topology-independent iteration complexity respectively. When the global function satisfies the Polyak-Lojaciewisz condition, we show that GT-SAGA exhibits linear convergence to an optimal solution in expectation and describe regimes of practical interest where the performance is network topology-independent and improves upon the existing methods. Numerical experiments are included to highlight the main convergence aspects of GT-SAGA in non-convex settings.

研究动机与目标

• 为解决大规模、地理分布式的网络中数据无法集中存储或处理的去中心化非凸有限和优化挑战。
• 克服现有双时标方差减少方法的局限性，这些方法需要周期性批量梯度计算和网络同步，尤其在自组织或动态网络中。
• 设计一种计算高效、单时标的算法，保持在去中心化非凸设置下快速收敛和对数据异质性的鲁棒性。
• 为一般光滑非凸问题建立理论收敛保证——几乎必然收敛与均方收敛至一阶驻点。
• 证明在Polyak-Łojasiewicz（PL）条件下，期望下实现线性收敛，并识别收敛与网络拓扑无关的实际应用场景。

提出的方法

• GT-SAGA在每个节点上采用类似SAGA的局部随机增量梯度方案，利用历史分量梯度信息计算局部批量梯度的方差减少估计。
• 在网络层面，GT-SAGA使用梯度追踪机制融合局部梯度估计并追踪全局批量梯度，实现在全网范围内对完整梯度的一致性。
• 该算法在单时标下运行，消除了双时标方法中所需的周期性批量梯度评估和全网同步。
• 通过结合节点级方差减少（SAGA风格）与网络级梯度追踪，实现在非凸设置下的快速且鲁棒的收敛。
• 收敛性分析基于构造一个李雅普诺夫函数，并分析一个捕捉PL条件下系统动态的4×4矩阵Hα的谱半径。
• 关键算法参数包括步长α、局部光滑度L、条件数κ = L/μ以及网络谱隙λ，收敛界在这些参数的特定范围内推导得出。

实验结果

研究问题

• RQ1 单时标去中心化算法是否能在不需周期性批量梯度计算或网络同步的情况下，实现对非凸有限和问题的快速收敛？
• RQ2 节点级方差减少与网络级梯度追踪的结合是否能保证在一般光滑非凸问题中收敛至一阶驻点？
• RQ3 GT-SAGA在何种条件下能以期望方式实现对最优解的线性收敛，且该收敛是否与网络拓扑无关？
• RQ4 在哪些具有实际意义的场景中，GT-SAGA在迭代复杂度和鲁棒性方面优于现有双时标方差减少方法？
• RQ5 在PL条件下，GT-SAGA的收敛速率如何依赖于光滑度参数L、条件数μ以及网络谱隙λ？

主要发现

• GT-SAGA在一般光滑非凸问题中实现了几乎必然收敛与均方收敛至一阶驻点，在实际应用场景中收敛速率与网络拓扑无关。
• 在Polyak-Łojasiewicz（PL）条件下，GT-SAGA在期望下表现出线性收敛至最优解，收敛速率受1−μα/2的上界限制。
• 当步长α满足α ≤ min{ (1−λ²)²/(55λ), (1−λ²)/(13λκ¹⁴), (1−λ²)³/(388λ²n) } / L时，GT-SAGA实现与网络拓扑无关的迭代复杂度。
• 收敛速率由一个4×4矩阵Hα的谱半径定量界定，该谱半径在特定参数范围内被证明不超过1−μα/2。
• GT-SAGA通过消除周期性批量梯度计算和网络同步的需求，在实践中优于现有双时标方法。
• 数值实验验证了理论收敛行为，表明GT-SAGA在非凸去中心化优化设置下具有快速且鲁棒的性能。