[论文解读] Bridging the Gap between Constant Step Size Stochastic Gradient Descent and Markov Chains

Aymeric Dieuleveut, Alain Durmus+1 more|arXiv (Cornell University)|Jul 20, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用 34

一句话总结

本文通过利用马尔可夫链理论，建立了常步长随机梯度下降（SGD）在强凸目标函数下的偏差显式渐近展开。结果表明，平均迭代点收敛于一个偏离真实最优解 O(γ) 的分布，提出采用 Richardson-Romberg 外推法以减少该偏差，实验证明可显著改善向全局最小值的收敛性能。

ABSTRACT

We consider the minimization of an objective function given access to unbiased estimates of its gradient through stochastic gradient descent (SGD) with constant step-size. While the detailed analysis was only performed for quadratic functions, we provide an explicit asymptotic expansion of the moments of the averaged SGD iterates that outlines the dependence on initial conditions, the effect of noise and the step-size, as well as the lack of convergence in the general (non-quadratic) case. For this analysis, we bring tools from Markov chain theory into the analysis of stochastic gradient. We then show that Richardson-Romberg extrapolation may be used to get closer to the global optimum and we show empirical improvements of the new extrapolation scheme.

研究动机与目标

• 为常步长 SGD 在强凸情形下提供完整的理论理解。
• 量化在非二次设置下，由于非收敛性导致的平均 SGD 迭代点中的偏差。
• 提出一种可证明的减少渐近偏差的方法，以改善向全局最优解的收敛性能。
• 弥合 SGD 与马尔可夫链理论之间的鸿沟，以实现对随机优化更优的分析。

提出的方法

• 将常步长 SGD 视为在 R^d 上的齐次马尔可夫链，其平稳分布为 π_γ。
• 推导出平均迭代点的偏差 E[θ̄_γ - θ*] = O(γ) 关于步长 γ 的显式渐近展开。
• 应用马尔可夫链理论工具，建立 π_γ 与 θ* 处的狄拉克测度之间的非渐近弱误差展开。
• 建立一个定量中心极限定理，明确分解为偏差（初始条件依赖）和方差（噪声依赖）两项。
• 提出 Richardson-Romberg 外推法，通过结合不同步长的多个 SGD 运行，以减少 O(γ) 的偏差。
• 利用泰勒展开与遍历性论证，推导出平均迭代点与平稳均值之间偏差的界。

实验结果

研究问题

• RQ1 平均常步长 SGD 相对于真实最优解的精确渐近偏差是什么？
• RQ2 初始条件与梯度噪声如何影响常步长 SGD 的收敛行为？
• RQ3 是否可以系统性地应用马尔可夫链理论来分析常步长 SGD 的长期行为？
• RQ4 是否可以通过外推技术减少常步长 SGD 的固有偏差？
• RQ5 所提出的 Richardson-Romberg 方案相比标准常步长 SGD 如何改善收敛性能？

主要发现

• 期望平均迭代点 θ̄_γ 与真实最优解 θ* 之间的偏差在渐近意义上为 O(γ)，这解释了常步长 SGD 在一般非二次设置下无法收敛的原因。
• 偏差项呈指数快速衰减，且与初始条件 θ₀ - θ* 呈线性关系，其范数 N(θ₀ - θ*) 量化了遗忘速率。
• 中心极限定理中的方差项与初始条件无关，且随梯度估计中的噪声协方差增大而增加。
• 在平稳分布 π_γ 与 θ* 处的狄拉克测度之间建立了非渐近弱误差展开，表明在弱意义下收敛速率为 O(γ)。
• 提出 Richardson-Romberg 外推法并经实证验证，可有效减少 O(γ) 的偏差，从而提升向全局最优解的收敛性能。
• 推导出 E[‖θ̄_k^(γ) - θ̄_γ‖²] 的理论界，明确分离了偏差与方差分量，并清晰展示了其对初始条件与噪声的依赖关系。