[论文解读] Implicit bias of gradient descent for mean squared error regression with wide neural networks

Hui Jin, Guido Montúfar|arXiv (Cornell University)|May 4, 2021

Advanced Numerical Analysis Techniques参考文献 44被引用 9

一句话总结

本文分析了在宽深层ReLU网络中进行均方误差回归时梯度下降的特性，表明解会收敛到一个最小化由初始化分布密度加权的曲率惩罚的函数。在一维回归中，这导致在均匀非对称初始化下产生自然样条插值，通过空间自适应平滑样条与递减正则化，可推广至多变量设置及其他激活函数。

ABSTRACT

We investigate gradient descent training of wide neural networks and the corresponding implicit bias in function space. For 1D regression, we show that the solution of training a width-n shallow ReLU network is within n−1/2 of the function which fits the training data and whose difference from initialization has smallest 2-norm of the second derivative weighted by 1/ζ. The curvature penalty function 1/ζ is expressed in terms of the probability distribution that is utilized to initialize the network parameters, and we compute it explicitly for various common initialization procedures. For instance, asymmetric initialization with a uniform distribution yields a constant curvature penalty, and thence the solution function is the natural cubic spline interpolation of the training data. While similar results have been obtained in previous works, our analysis clarifies important details and allows us to obtain significant generalizations. In particular, the result generalizes to multivariate regression and different activation functions. Moreover, we show that the training trajectories are captured by trajectories of spatially adaptive smoothing splines with decreasing regularization strength.

研究动机与目标

• 理解在宽深层ReLU网络中进行均方误差回归时梯度下降的隐式偏差。
• 表征当宽度增加时函数空间中极限函数的性质。
• 识别初始化分布如何塑造解中的曲率惩罚。
• 将1D结果推广至多变量回归及不同激活函数。
• 建立训练轨迹与随时间变化的正则化强度的空间自适应平滑样条之间的联系。

提出的方法

• 分析宽度为n的浅层ReLU网络中使用均方误差损失的梯度下降。
• 推导出极限解为最小化加权二阶导数的2-范数，权重为1/ζ，其中ζ为初始化密度。
• 显式计算常见初始化方案（如均匀非对称初始化）下的曲率惩罚1/ζ。
• 证明解在曲率惩罚下与最优函数的差距在n−1/2以内。
• 将分析推广至多变量回归及非1D情形。
• 将训练轨迹建模为正则化强度随时间减小的空间自适应平滑样条。

实验结果

研究问题

• RQ1 在1D回归中，宽ReLU网络中的梯度下降在函数空间中如何收敛？
• RQ2 初始化分布如何在塑造梯度下降的隐式偏差中发挥作用？
• RQ3 隐式偏差能否被表征为曲率惩罚？其在初始化密度下的表达形式如何？
• RQ4 该结果是否可推广至多变量回归及不同激活函数？
• RQ5 训练轨迹与具有时变正则化强度的平滑样条动力学有何关联？

主要发现

• 在一维回归中，训练宽度为n的浅层ReLU网络的解与最小化加权二阶导数2-范数的函数之间的差距在n−1/2以内，权重为1/ζ。
• 在均匀非对称初始化下，曲率惩罚变为常数，从而导致对训练数据的自然三次样条插值。
• 对多种初始化方法显式计算了曲率惩罚1/ζ，建立了初始化与隐式偏差之间的联系。
• 该分析可推广至多变量回归，且隐式偏差结构保持不变。
• 训练轨迹可由正则化强度随时间减小的空间自适应平滑样条准确捕捉。
• 隐式偏差对不同激活函数具有鲁棒性，并可扩展至高维情形。