[论文解读] Linear Convergence of Adaptive Stochastic Gradient Descent

Yuege Xie, Xiaoxia Wu+1 more|arXiv (Cornell University)|Aug 28, 2019

Sparse and Compressive Sensing Techniques参考文献 42被引用 7

一句话总结

该论文首次为随机优化中的AdaGrad-Norm建立了鲁棒的线性收敛保证，证明了在不预先知晓光滑性、强凸性或最小值点位置的情况下，对强凸函数和Polyak-Łojasiewicz（PL）函数均可实现线性收敛。关键创新在于引入了受限一致梯度不等式（RUIG），该条件确保了梯度范数的均衡性，从而支持一种对超参数调优不敏感的两阶段收敛分析。

ABSTRACT

We prove that the norm version of the adaptive stochastic gradient method (AdaGrad-Norm) achieves a linear convergence rate for a subset of either strongly convex functions or non-convex functions that satisfy the Polyak Lojasiewicz (PL) inequality. The paper introduces the notion of Restricted Uniform Inequality of Gradients (RUIG)---which is a measure of the balanced-ness of the stochastic gradient norms---to depict the landscape of a function. RUIG plays a key role in proving the robustness of AdaGrad-Norm to its hyper-parameter tuning in the stochastic setting. On top of RUIG, we develop a two-stage framework to prove the linear convergence of AdaGrad-Norm without knowing the parameters of the objective functions. This framework can likely be extended to other adaptive stepsize algorithms. The numerical experiments validate the theory and suggest future directions for improvement.

研究动机与目标

• 在不需预先知晓光滑性或强凸性参数的前提下，为随机设置下的AdaGrad-Norm建立线性收敛性。
• 理论上证明AdaGrad-Norm对超参数调优（尤其是初始步长$ b_0 $）的鲁棒性，涵盖随机与批量设置。
• 将线性收敛保证扩展至满足Polyak-Łojasiewicz（PL）不等式的非凸函数。
• 提出一种通用的两阶段框架，用于证明非渐近线性收敛，且避免有界方差假设。
• 通过数值实验验证理论，显示在不同初始步长选择下均保持稳定收敛。

提出的方法

• 引入受限一致梯度不等式（RUIG），该条件确保在最小值点附近受限区域内梯度范数具有统一的下界。
• 提出两阶段收敛分析框架：第一阶段为瞬态阶段，迭代点趋近于最小值点的邻域；第二阶段在RUIG和目标函数条件下实现线性收敛。
• 采用AdaGrad-Norm更新规则：$ b_{j+1}^2 = b_j^2 + \|\nabla f_{\xi_j}(x_j)\|^2 $，且$ x_{j+1} = x_j - \frac{\eta}{b_{j+1}} \nabla f_{\xi_j}(x_j) $，通过梯度范数自适应缩放步长。
• 通过依赖RUIG和目标函数结构，避免标准的有界方差假设，从而实现更紧致的非渐近界。
• 将该框架应用于随机与批量设置，证明了强凸函数的高概率线性收敛，以及PL函数的确定性线性收敛。
• 利用集中不等式和鞅论方法控制$ b_j $的增长，确保收敛的稳定与快速。

实验结果

研究问题

• RQ1 AdaGrad-Norm是否能在不预先知晓光滑性或强凸性参数的前提下，在随机设置下对强凸函数实现线性收敛？
• RQ2 在自适应随机优化中，如何理论上保证对初始步长$ b_0 $的鲁棒性？
• RQ3 AdaGrad-Norm的线性收敛性能否扩展至满足Polyak-Łojasiewicz（PL）不等式的非凸函数？
• RQ4 对梯度范数的何种结构条件可实现无需有界方差假设的鲁棒线性收敛？
• RQ5 能否开发一种通用的两阶段框架，用于证明自适应梯度方法的非渐近线性收敛？

主要发现

• 在RUIG条件下，AdaGrad-Norm在随机设置下对强凸函数实现了线性收敛，且无需预先知晓光滑性或强凸性参数。
• 收敛速率具有高概率线性特性，误差按$ \mathcal{O}(\exp(-\kappa T)) $衰减，其中$ \kappa $与条件数相关。
• 数值实验表明，AdaGrad-Norm在广泛范围的初始$ b_0 $下均保持稳定线性收敛，而固定步长SGD在$ b_0 $过小时会发散。
• 在批量设置下，AdaGrad-Norm对强凸函数和PL函数均实现了确定性线性收敛，表现出对初始化和超参数的鲁棒性。
• AdaGrad-Norm中$ b_t $的增长在达到阈值后与SGD_const一致，但因自适应步长缩放，收敛速率仍更优。
• 在过参数化神经网络上的实验表明，AdaGrad-Norm比固定步长GD收敛更快，并表现出近乎线性的行为，实证验证了关于梯度增长的假设(A3)。