[论文解读] Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization

Yi Zhou, Yingbin Liang+1 more|arXiv (Cornell University)|Feb 19, 2018

Stochastic Gradient Optimization Techniques参考文献 42被引用 15

一句话总结

本文通过分析随机梯度的平均方差，提出了一种用于非凸优化中随机梯度下降（SGD）的新颖泛化误差界，该界更为紧密，并能捕捉数据标签污染的影响。该界在概率保证下推导得出，相较于基于稳定性的现有方法，其结合了优化动力学与数据分布特性，实现了改进。

ABSTRACT

The success of deep learning has led to a rising interest in the generalization property of the stochastic gradient descent (SGD) method, and stability is one popular approach to study it. Existing works based on stability have studied nonconvex loss functions, but only considered the generalization error of the SGD in expectation. In this paper, we establish various generalization error bounds with probabilistic guarantee for the SGD. Specifically, for both general nonconvex loss functions and gradient dominant loss functions, we characterize the on-average stability of the iterates generated by SGD in terms of the on-average variance of the stochastic gradients. Such characterization leads to improved bounds for the generalization error for SGD. We then study the regularized risk minimization problem with strongly convex regularizers, and obtain improved generalization error bounds for proximal SGD. With strongly convex regularizers, we further establish the generalization error bounds for nonconvex loss functions under proximal SGD with high-probability guarantee, i.e., exponential concentration in probability.

研究动机与目标

• 为解决现有基于稳定性的泛化误差界无法捕捉随机标签对SGD性能影响的局限性。
• 为SGD开发一个整合优化动力学与数据分布特性的泛化误差界。
• 提供对泛化误差的概率保证，增强统计鲁棒性，超越基于期望的界。
• 将分析扩展至带强凸正则项的正则化风险最小化，表明泛化性能得到提升。

提出的方法

• 提出一种基于随机梯度平均方差的新SGD稳定性分析，将优化行为与泛化性能联系起来。
• 推导出依赖于随机梯度平方范数期望的泛化误差界，优于先前的界。
• 通过迭代过程的伸缩论证，并应用浓度不等式，建立泛化误差的概率界。
• 分析带强凸正则项的近端SGD，证明了概率上的指数集中性，并得到更优的泛化误差界。
• 对损失函数施加光滑性与利普希茨连续性假设，以控制梯度更新与误差传播。
• 引入一个势函数 Φ_S(w) 以追踪进展并控制经验风险的期望下降。

实验结果

研究问题

• RQ1 在非凸设置下，随机梯度的平均方差如何影响SGD的泛化误差？
• RQ2 通过整合优化动力学与数据分布特性，能否改进泛化误差界？
• RQ3 为何现有基于稳定性的界无法解释随机标签对泛化性能的影响？
• RQ4 添加强凸正则项如何改善非凸SGD的泛化误差界？
• RQ5 能否推导出在统计上强于基于期望的界的概率泛化误差界？

主要发现

• 所提出的泛化误差界依赖于随机梯度的平均方差，相较于先前方法，提供了更紧密且更具可解释性的界。
• 该界成功解释了实验观察结果：当随机标签比例增加时，泛化误差随之上升，因为这会增加梯度方差。
• 对于带强凸正则项的近端SGD，泛化误差界实现了概率上的指数集中性，显著优于非正则化情形。
• 该界在概率保证下成立，相较于基于期望的界，提供了更强的统计置信度。
• 在梯度支配条件下，SGD的快速收敛导致更优的泛化误差界，展示了优化速度与泛化性能之间的协同效应。