[论文解读] Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima

Brian R. Swenson, Ryan Murray+2 more|arXiv (Cornell University)|Mar 5, 2020

Stochastic Gradient Optimization Techniques被引用 16

一句话总结

本文为非凸、非光滑优化设置下的分布式随机梯度下降（D-SGD）建立了理论收敛保证。通过将 D-SGD 建模为连续时间分布式梯度流，并将稳定流形理论扩展至非自治系统，证明了在鞍点附近满足温和光滑性条件时，D-SGD 几乎必然收敛至临界点并避免鞍点，其行为与集中式 SGD 一致。

ABSTRACT

In centralized settings, it is well known that stochastic gradient descent (SGD) avoids saddle points and converges to local minima in nonconvex problems. However, similar guarantees are lacking for distributed first-order algorithms. The paper studies distributed stochastic gradient descent (D-SGD)--a simple network-based implementation of SGD. Conditions under which D-SGD avoids saddle points and converges to local minima are studied. First, we consider the problem of computing critical points. Assuming loss functions are nonconvex and possibly nonsmooth, it is shown that, for each fixed initialization, D-SGD converges to critical points of the loss with probability one. Next, we consider the problem of avoiding saddle points. In this case, we again assume that loss functions may be nonconvex and nonsmooth, but are smooth in a neighborhood of a saddle point. It is shown that, for any fixed initialization, D-SGD avoids such saddle points with probability one. Results are proved by studying the underlying (distributed) gradient flow, using the ordinary differential equation (ODE) method of stochastic approximation, and extending classical techniques from dynamical systems theory such as stable manifolds. Results are proved in the general context of subspace-constrained optimization, of which D-SGD is a special case.

研究动机与目标

• 通过建立 D-SGD 收敛至临界点并避免鞍点的理论保证，填补分布式一阶优化中的理论空白。
• 将经典随机逼近与动力系统技术扩展至分布式优化中出现的非自治、非经典系统。
• 在一般非凸且可能非光滑的损失函数下分析 D-SGD，包括神经网络中出现的非光滑激活函数情形。
• 提供严格条件，证明即使全局损失函数非光滑，只要在鞍点邻域内光滑，D-SGD 仍可避免鞍点。
• 将现有集中式设置下的收敛结果推广至分布式环境，尤其适用于子空间约束优化。

提出的方法

• 使用随机逼近的常微分方程（ODE）方法，将 D-SGD 建模为连续时间分布式梯度流（DGF）。
• 将稳定流形理论应用于非自治动力系统，以分析对鞍点的非收敛性。
• 在鞍点附近采用线性化方法，并研究时变动力系统下 Hessian 矩阵的特征值收敛性。
• 引入二次惩罚公式以处理优化问题中的子空间约束。
• 在个体智能体函数满足局部利普希茨连续性且非凸的条件下，建立收敛至临界点的结果。
• 通过稳定流形上的测度论论证，证明 D-SGD 几乎必然收敛至临界点，并几乎必然避免正规鞍点。

实验结果

研究问题

• RQ1 当损失函数为非凸且可能非光滑时，分布式随机梯度下降在何种条件下收敛至临界点？
• RQ2 在全局损失函数非光滑的情况下，只要在鞍点邻域内光滑，D-SGD 是否仍能避免鞍点？
• RQ3 如何将经典稳定流形理论扩展至分布式梯度流中出现的非自治系统？
• RQ4 在联网设置下，D-SGD 收敛至局部最小值而非鞍点的必要与充分条件是什么？
• RQ5 集中式 SGD 的理论保证在多大程度上可推广至分布式、基于网络的一阶算法？

主要发现

• 对于非凸且局部利普希茨连续的损失函数，D-SGD 几乎必然收敛至全局目标函数的临界点。
• 当损失函数在鞍点邻域内光滑且鞍点为正规时，D-SGD 几乎必然避免此类鞍点。
• 即使个体智能体函数非光滑，该收敛性结果依然成立，扩展了以往要求凸性或凸函数之差正则化的结果。
• 通过将稳定流形理论新颖地应用于非自治系统，首次实现了鞍点避免的理论证明，该结果未被经典理论覆盖。
• 分析基于将 D-SGD 近似为连续时间分布式梯度流，收敛性通过测度论论证在逃逸鞍点邻域的概率上得到证明。
• 该结果适用于一般子空间约束优化框架，因此可广泛应用于联邦学习和去中心化经验风险最小化等分布式学习问题。