[论文解读] Generalization Properties and Implicit Regularization for Multiple Passes SGM

Junhong Lin, Raffaello Camoriano+1 more|arXiv (Cornell University)|May 26, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用 5

一句话总结

本文分析了在凸损失函数与线性参数化模型下，多轮随机梯度方法（SGM）的泛化性质。结果表明，学习率与轮数均作为隐式正则化参数，控制偏差-方差权衡，而无需显式惩罚项。在近似误差假设下，推导出最优收敛速率，并通过真实数据集上的数值实验加以验证。

ABSTRACT

We study the generalization properties of stochastic gradient methods for learning with convex loss functions and linearly parameterized functions. We show that, in the absence of penalizations or constraints, the stability and approximation properties of the algorithm can be controlled by tuning either the step-size or the number of passes over the data. In this view, these parameters can be seen to control a form of implicit regularization. Numerical results complement the theoretical findings.

研究动机与目标

• 为了在无显式正则化的情况下，理论理解多轮随机梯度方法（SGM）的泛化行为。
• 为了研究在凸损失函数的SGM中，学习率与数据遍历次数如何作为隐式正则化机制发挥作用。
• 为了在近似误差假设下，为SGM建立最优收敛速率，将先前针对最小二乘法的结果推广至一般凸损失函数。
• 为了为实践中常见的启发式方法（如早停法与学习率调优）提供理论基础。
• 为了通过真实数据集上的数值实验验证理论发现。

提出的方法

• 在非参数设定下分析SGM，采用线性参数化函数与凸损失函数。
• 采用基于稳定性的方法推导泛化界，将算法稳定性与偏差-方差权衡联系起来。
• 在近似误差假设下推导收敛速率，参数化于真实函数的光滑性。
• 引入两种算法变体：一种为调优学习率，另一种为固定学习率结合早停（调优轮数）。
• 应用随机优化与稳定性理论的结果，对期望过失风险进行上界估计。
• 通过真实数据集上的数值实验验证理论发现，比较不同学习率与轮数配置下的性能。

实验结果

研究问题

• RQ1 在无显式正则化的情况下，学习率与轮数如何影响SGM的泛化性能？
• RQ2 能否通过调节学习率或轮数来控制SGM中的偏差-方差权衡？其对应的收敛速率如何？
• RQ3 近似误差在确定SGM中学习率与轮数最优选择时起何作用？
• RQ4 在相同假设下，一阶段与多阶段SGM变体的理论收敛速率如何比较？
• RQ5 数值实验在多大程度上验证了关于SGM中隐式正则化的理论预测？

主要发现

• SGM中的学习率与轮数作为隐式正则化参数，控制偏差-方差权衡，而无需显式惩罚项。
• 对于多轮SGM，采用固定学习率并结合早停（调优轮数）可实现最优收敛速率，其性能与一阶段SGM中调优学习率相当。
• 理论界表明，对于固定学习率与早停，期望过失风险以 O(1/√m) 的速率衰减，其中对数因子依赖于轮数。
• 收敛速率取决于真实函数的光滑性，以参数 β ∈ (0,1] 表征，函数越光滑，收敛速率越快。
• 真实数据集上的数值实验表明，学习率调优与早停可实现相近的泛化性能，验证了理论上的偏差-方差权衡。
• 本分析将先前针对最小二乘法的结果推广至一般凸损失函数，为SGM在实践中的应用提供了更广泛的理论基础。