[论文解读] Improved Learning Rates for Stochastic Optimization

Shaojie Li, Tang, Pengwei+1 more|ArXiv.org|Jul 19, 2021

Sparse and Compressive Sensing Techniques参考文献 119被引用 4

一句话总结

本文在较弱假设下，通过结合稳定性与一致收敛框架，为随机优化中的经验风险最小化（ERM）和随机梯度下降（SGD）建立了改进的高概率学习率。在凸学习中实现了最优的 $Ø(1/n)$ 速率，在非凸学习中实现了更快的 $Ø(1/n^2)$ 速率，代表了两种理论范式下的最先进结果。

ABSTRACT

Stochastic optimization is a cornerstone of modern machine learning. This paper studies the generalization performance of two classical stochastic optimization algorithms: stochastic gradient descent (SGD) and Nesterov's accelerated gradient (NAG). We establish new learning rates for both algorithms, with improved guarantees in some settings or comparable rates under weaker assumptions in others. We also provide numerical experiments to support the theory.

研究动机与目标

• 为解决在较弱假设下 ERM 和 SGD 在随机优化中缺乏强有力的理论理解的问题。
• 通过放宽强凸性等条件，改进凸学习中的学习速率。
• 在非凸学习中推导出更快的收敛速率，此前结果受限或较慢。
• 统一两种理论视角——稳定性与一致收敛——以分析泛化性能。
• 首次在非凸设置下建立 ERM 和 SGD 的 $Ø(1/n)$ 高概率过剩风险边界。

提出的方法

• 采用两种理论框架分析 ERM 和 SGD：一致收敛与算法稳定性。
• 应用一致收敛框架，推导出非凸设置下更快的 $Ø(1/n^2)$ 学习速率。
• 利用稳定性分析，结合步长 $η_t = c/(t+1)$，控制在相似数据集上训练模型之间的差异。
• 对受扰动数据下的模型更新应用递归边界，并引入指示函数以衡量数据点的影响。
• 应用类似 Chernoff 的浓度界限，控制稳定性分析中大偏差的概率。
• 通过结合递归稳定性边界与利普希茨连续性及光滑性假设，推导出高概率过剩风险边界。

实验结果

研究问题

• RQ1 在弱于强凸性的假设下，能否为凸学习中的 ERM 和 SGD 实现改进的高概率学习速率？
• RQ2 在一般条件下，非凸学习中 ERM 和 SGD 的最快可实现学习速率是多少？
• RQ3 稳定性框架能否为非凸问题提供 $Ø(1/n)$ 量级的高概率边界，而非仅在期望下成立？
• RQ4 在推导随机优化的快速速率时，一致收敛与稳定性框架有何异同？
• RQ5 在高概率稳定性边界中，$n$ 的依赖关系能否超越 $\mathcal{O}(1/\sqrt{n})$？

主要发现

• 本文在弱于以往工作的假设下，为凸学习中的 ERM 和 SGD 建立了 $\mathcal{O}(1/n)$ 量级的高概率学习速率。
• 在非凸学习中，本文通过稳定性分析实现了 $\mathcal{O}(1/n)$ 量级的高概率速率，显著优于以往高概率边界的 $\mathcal{O}(1/\sqrt{n})$ 量级。
• 在一致收敛框架下，本文推导出非凸设置中 ERM 和 SGD 的更快学习速率 $\mathcal{O}(1/n^2)$。
• SGD 的稳定性边界被证明为高概率下 $\mathcal{O}\left(t^{c\beta}\sqrt{\frac{\log(n/\delta)}{n}}\right)$，这是非凸学习中首次获得此类结果。
• 所提出的边界被证明为最先进水平，在凸与非凸两种情形下均优于现有结果。
• 分析表明，通过更精细的浓度技术，高概率稳定性边界中的 $\mathcal{O}(1/\sqrt{n})$ 项可被缓解，从而实现更快收敛。