[论文解读] Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity

Scott Pesme, Loucas Pillaud‐Vivien+1 more|arXiv (Cornell University)|Jun 17, 2021

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

该论文证明，在对角线线性网络上，随机梯度流（SGF）相比梯度流（GF）展现出可证明更优的隐式偏差，这是由于随机性带来的结构化噪声所致。训练损失收敛越慢，对更好泛化性能的偏差越强，且具有严格的收敛保证与实验验证。

ABSTRACT

Understanding the implicit bias of training algorithms is of crucial importance in order to explain the success of overparametrised neural networks. In this paper, we study the dynamics of stochastic gradient descent over diagonal linear networks through its continuous time version, namely stochastic gradient flow. We explicitly characterise the solution chosen by the stochastic flow and prove that it always enjoys better generalisation properties than that of gradient flow. Quite surprisingly, we show that the convergence speed of the training loss controls the magnitude of the biasing effect: the slower the convergence, the better the bias. To fully complete our analysis, we provide convergence guarantees for the dynamics. We also give experimental results which support our theoretical claims. Our findings highlight the fact that structured noise can induce better generalisation and they help explain the greater performances observed in practice of stochastic gradient descent over gradient descent.

研究动机与目标

• 理解在无显式正则化的情况下，为何随机梯度下降（SGD）在过参数化设置下比梯度下降（GD）泛化性能更优。
• 刻画对角线线性网络中随机梯度流（SGF）的隐式偏差，该模型是捕捉深度网络关键特性的简化模型。
• 证明即使无显式正则化，SGF 也能收敛到比 GF 更优的泛化性能解。
• 量化训练损失收敛速度如何影响 SGF 中由随机性诱导的隐式偏差强度。
• 在连续时间框架下，为 SGF 动态提供高概率收敛至零损失解的保证。

提出的方法

• 通过 Itô 微积分将 SGD 建模为其连续时间对应形式——随机梯度流（SGF），以捕捉随机动力学。
• 将动力学分析为时间可变的随机镜像下降，其势函数由损失曲面导出。
• 利用 Itô 微积分推导出随机过程的精确表达式，包括鞅项的二次变差。
• 应用浓度不等式（如 Dubins-Schwarz 和 Doob 的最大不等式）以界定随机偏差项。
• 利用 Lamber W 函数与对数不等式，推导出解路径与收敛速率的上界。
• 在数据与初始化满足弱假设的前提下，证明迭代序列以高概率收敛至零损失解。

实验结果

研究问题

• RQ1 SGD 在对角线线性网络中的隐式偏差是否与 GD 不同？
• RQ2 SGD 中的随机性如何影响对最优泛化性能解的选择？
• RQ3 能否将训练损失的收敛速度与 SGF 中隐式偏差的强度联系起来？
• RQ4 结构化噪声（而非 i.i.d. 噪声）在塑造 SGF 解路径方面起到什么作用？
• RQ5 能否在此设置下严格建立 SGF 高概率收敛至零损失解？

主要发现

• 随机梯度流（SGF）以高概率收敛至一个泛化性能优于梯度流（GF）所选解的零损失解。
• SGF 的隐式偏差大小与收敛速度成反比：收敛越慢，对更优泛化解的偏差越强。
• SGF 的隐式偏差被严格证明具有优势，其解路径表现出稀疏化效应，在稀疏回归任务中性能优于 GD 超过一个数量级。
• 在数据与初始化满足弱假设的前提下，即使存在结构化噪声，SGF 仍能实现高概率收敛至零损失解。
• 理论分析表明，随机动力学遵循时间可变的随机镜像下降，噪声结构在塑造解路径中起关键作用。
• 实验结果证实，SGD 恢复的解在验证损失上显著低于 GD，尤其在稀疏初始化下，验证了理论结论。