[论文解读] Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks

Rodrigo Veiga, Ludovic Stephan+3 more|arXiv (Cornell University)|Feb 1, 2022

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文通过严格推导描述随机梯度下降（SGD）动力学的确定性常微分方程（ODE），在高维两层神经网络中建立了SGD的相图，该推导适用于学习率、隐层宽度和输入维数的一般缩放关系。研究揭示了根据缩放指数相互作用而产生的不同学习模式——完美学习、非完美学习和无学习——从而弥合了过度参数化网络与窄网络中均场理论与经典统计物理方法之间的长期理论鸿沟。

ABSTRACT

Despite the non-convex optimization landscape, over-parametrized shallow networks are able to achieve global convergence under gradient descent. The picture can be radically different for narrow networks, which tend to get stuck in badly-generalizing local minima. Here we investigate the cross-over between these two regimes in the high-dimensional setting, and in particular investigate the connection between the so-called mean-field/hydrodynamic regime and the seminal approach of Saad & Solla. Focusing on the case of Gaussian data, we study the interplay between the learning rate, the time scale, and the number of hidden units in the high-dimensional dynamics of stochastic gradient descent (SGD). Our work builds on a deterministic description of SGD in high-dimensions from statistical physics, which we extend and for which we provide rigorous convergence rates.

研究动机与目标

• 弥合均场/流体动力学SGD分析与经典Saad & Solla框架在窄、高维网络中的理论差距。
• 严格将SGD动力学的确定性ODE近似扩展至原始1/d缩放范围之外，允许学习率与宽度相对于输入维数的一般缩放。
• 在高维设置下表征学习性能的完整谱系，包括完美学习、残余误差和学习失败。
• 为ODE近似提供非渐近收敛保证，从而实现对学习动力学的精确分析。
• 建立一个相图，根据学习率与隐层单元数相对于输入维数的缩放指数对学习结果进行分类。

提出的方法

• 使用统计物理方法推导一组确定性ODE，描述高维设置下网络权重的时间演化。
• 将先前工作的收敛性证明扩展至一般的学习率缩放（γ ∝ d⁻ᵟ）与隐层宽度缩放（p ∝ dᵏ），超越原始的1/d缩放范围。
• 引入时间缩放参数ϑ = κ + δ，以统一并推广不同模式下的动力学行为。
• 采用教师-学生框架，使用高斯数据和正交教师权重来定义学习任务与总体风险。
• 采用自平均近似，用期望值替代随机梯度，从而在相关矩阵（Q, M, P）的基础上获得闭式ODE系统。
• 通过在不同缩放范围内与数值模拟对比验证ODE，结果在相图的所有区域均表现出极佳的一致性。

实验结果

研究问题

• RQ1 学习率缩放、隐层宽度与输入维数之间的相互作用如何影响两层网络中SGD的收敛性与泛化性能？
• RQ2 经典Saad & Solla的ODE框架能否扩展至1/d学习率与固定宽度之外的一般缩放范围？
• RQ3 在高维极限下，哪些不同的学习模式——完美学习、非完美学习或无学习——会浮现，其边界由什么决定？
• RQ4 初始条件的选择如何影响专业化动力学？该相图是否依赖于初始条件的选择？
• RQ5 能否为该设定下SGD的ODE近似建立非渐近收敛保证？

主要发现

• 相图完全由缩放指数之和κ + δ决定，其中κ控制隐层宽度的缩放（p ∝ dᵏ），δ控制学习率的缩放（γ ∝ d⁻ᵟ）。
• 当κ + δ > 0时发生完美学习，对应过量误差的幂律衰减至零。
• 当κ + δ = 0时，系统达到平台期，存在恒定且非零的过量误差，对应经典Saad & Solla的缩放关系。
• 当−1/2 < κ + δ < 0时，系统表现出非完美学习，残余误差不会消失，即使在长时间极限下亦然。
• 当κ + δ < −1/2时，ODE描述失效，无法推导出任何确定性动力学，表明SGD在此区域无法收敛至任何有意义的解。
• 数值模拟在所有区域均与ODE预测高度一致，无论动力学过程还是最终性能表现，即使在无约束的高斯初始化下亦然。