[论文解读] Distributed Stochastic Gradient Descent and Convergence to Local Minima

Brian Swenson, Ryan Murray+2 more|arXiv (Cornell University)|Mar 5, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用 10

一句话总结

本文为非凸优化中的分布式随机梯度下降（D-SGD）建立了收敛性保证，表明其以概率1收敛至临界点并几乎必然避开非退化鞍点。通过基于随机微分方程（ODE）的随机逼近方法，作者分析了D-SGD的连续时间版本，从而获得简化证明与适用于离散时间算法的直观洞见。

ABSTRACT

In centralized settings, it is well known that stochastic gradient descent (SGD) avoids saddle points. However, similar guarantees are lacking for distributed first-order algorithms in nonconvex optimization.The paper studies distributed stochastic gradient descent (D-SGD)--a simple network-based implementation of SGD. Conditions under which D-SGD converges to local minima are studied. In particular, it is shown that, for each fixed initialization, with probability 1 we have that: (i) D-SGD converges to critical points of the objective and (ii) D-SGD avoids nondegenerate saddle points. To prove these results, we use ODE-based stochastic approximation techniques. The algorithm is approximated using a continuous-time ODE which is easier to study than the (discrete-time) algorithm. Results are first derived for the continuous-time process and then extended to the discrete-time algorithm. Consequently, the paper studies continuous-time distributed gradient descent (DGD) alongside D-SGD. Because the continuous-time process is easier to study, this approach allows for simplified proof techniques and builds important intuition that is obfuscated when studying the discrete-time process alone.

研究动机与目标

• 为非凸优化中分布式一阶方法的理论理解提供填补，其中收敛至局部最小值并非保证成立。
• 建立分布式随机梯度下降（D-SGD）以概率1收敛至目标函数临界点的理论结果。
• 在固定初始化条件下，证明D-SGD可避免非退化鞍点，将已知的SGD性质扩展至分布式设置。
• 利用连续时间ODE近似方法，简化分析并为D-SGD的行为提供直观洞见。
• 将连续时间分布式梯度下降（DGD）的理论结果推广至离散时间D-SGD算法。

提出的方法

• 本文采用基于ODE的随机逼近技术，将D-SGD的动力学建模为连续时间随机过程。
• 将离散时间D-SGD算法近似为一个连续时间常微分方程（ODE），其分析更具可处理性。
• 首先针对连续时间ODE过程，证明其收敛至临界点并避免非退化鞍点。
• 随后通过渐近耦合与稳定性论证，将这些结果推广至离散时间D-SGD算法。
• 分析借助随机逼近理论与动力系统工具，研究几乎必然收敛性质。
• 该方法依赖于固定初始化的假设，并采用路径遍历分析以建立几乎必然收敛结果。

实验结果

研究问题

• RQ1 在非凸优化中，分布式随机梯度下降（D-SGD）是否收敛至目标函数的临界点？
• RQ2 在固定初始化下，D-SGD是否能像集中式SGD一样避免非退化鞍点？
• RQ3 如何利用连续时间ODE近似简化离散时间分布式优化算法的分析？
• RQ4 从连续时间分布式梯度下降（DGD）可将哪些理论保证转移至离散时间D-SGD？
• RQ5 基于ODE的方法能否为分布式非凸优化中的收敛性提供更清晰的直观理解与更简洁的证明？

主要发现

• 对于每个固定初始化，D-SGD以概率1收敛至目标函数的临界点。
• D-SGD以概率1避免非退化鞍点，将集中式SGD的已知性质扩展至分布式设置。
• D-SGD的连续时间ODE近似使得收敛行为的分析更加简化且更具直观性。
• 针对连续时间过程推导的理论结果被严格推广至离散时间D-SGD算法。
• 基于ODE的随机逼近方法为分析非凸环境下分布式一阶方法提供了稳健框架。
• 该方法揭示，尽管计算具有分布式特性，D-SGD的收敛动力学与集中式SGD的本质相似。