[论文解读] High probability convergence and uniform stability bounds for nonconvex stochastic gradient descent

Liam Madden, Emiliano Dall’Anese+1 more|arXiv (Cornell University)|Jun 10, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文在光滑性、Polyak-Łojasiewicz 不等式和有界变差的假设下，为非凸随机梯度下降（SGD）建立了高概率收敛性和统一稳定性界。推导出依赖于训练轮次的界，平衡了收敛性与泛化性能，表明随着数据集规模增大，真实风险趋于零，从而弥合了非凸优化中理论与实践之间的差距。

ABSTRACT

Stochastic gradient descent (with a mini-batch) is one of the most common iterative algorithms used in machine learning. While being computationally cheap to implement, recent literature suggests that it may also have implicit regularization properties that prevent overfitting. This paper analyzes the properties of stochastic gradient descent from a theoretical standpoint to help bridge the gap between theoretical and empirical results; in particular, we prove bounds that depend explicitly on the number of epochs. Assuming smoothness, the Polyak-Łojasiewicz inequality, and the bounded variation property, we prove high probability bounds on the convergence rate. Assuming Lipschitz continuity and smoothness, we prove high probability bounds on the uniform stability. Putting these together (noting that some of the assumptions imply each other), we bound the true risk of the iterates of stochastic gradient descent. For convergence, our high probability bounds match existing expected bounds. For stability, our high probability bounds extend the nonconvex expected bound in Hardt et al. (2015). We use existing results to bound the generalization error using the stability. Finally, we put the convergence and generalization bounds together. We find that for a certain number of epochs of stochastic gradient descent, the convergence and generalization balance and we get a true risk bound that goes to zero as the number of samples goes to infinity.

研究动机与目标

• 弥合非凸机器学习问题中随机梯度下降（SGD）的理论分析与实际成功之间的差距。
• 推导出显式依赖于训练轮次数的SGD高概率收敛界。
• 将现有的期望稳定性界扩展到非凸设置下的高概率统一稳定性界。
• 结合收敛性与泛化界，建立在样本数量增加时趋于消失的真实风险界。

提出的方法

• 利用光滑性、Polyak-Łojasiewicz（PL）不等式以及梯度有界变差的性质，推导SGD迭代的高概率收敛速率。
• 应用利普希茨连续性和光滑性假设，建立SGD的高概率统一稳定性界。
• 利用基于统一稳定性的现有泛化误差界，将稳定性与真实风险联系起来。
• 通过轮次数量的权衡，结合收敛性与稳定性界，实现真实风险的递减。
• 采用集中不等式和鞅论证推导高概率界，避免仅依赖期望分析。
• 推导出依赖于轮次的界，反映实际训练调度，使理论结果更具可操作性。

实验结果

研究问题

• RQ1 在光滑性和PL不等式等标准假设下，能否为非凸SGD推导出高概率收敛界？
• RQ2 非凸SGD的高概率统一稳定性界与现有期望稳定性界相比如何？
• RQ3 当显式考虑轮次数量时，SGD中收敛性与泛化性之间的相互作用是什么？
• RQ4 结合收敛性与稳定性界，能否得到一个在样本数量增加时趋于消失的真实风险界？
• RQ5 分析中使用的假设是否相互蕴含，这对推导界值的紧致性有何影响？

主要发现

• 本文建立了非凸SGD的高概率收敛界，其速率与现有期望界一致，但提供了概率保证。
• 在类似假设下，将Hardt等人（2015）的非凸期望稳定性界扩展为高概率统一稳定性界。
• 在所推导的收敛性与稳定性条件下，SGD迭代的真实风险有界，并随训练样本数量增加而衰减至零。
• 通过特定轮次数量实现收敛性与泛化性的平衡，从而获得最优泛化性能。
• 所推导的界显式依赖于轮次数量，使其对实际训练调度更具可解释性与实用性。
• 研究表明，光滑性与有界变差等假设足以推导出收敛性与稳定性结果，且在分析中部分假设可相互蕴含。