[论文解读] Analysis of the Gradient Descent Algorithm for a Deep Neural Network Model with Skip-connections

E Weinan, Chao Ma+2 more|arXiv (Cornell University)|Apr 10, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用 18

一句话总结

本文分析了带有跳跃连接的深度残差网络中的梯度下降（GD），证明在过参数化和适当初始化下，GD 以指数速度快速收敛至全局最小值。此外，结果表明 GD 路径始终与一个随机特征模型保持一致接近，意味着其隐式正则化效果与随机特征模型相当，即使目标函数位于相应的再生核希尔伯特空间（RKHS）中，也不存在显著的额外隐式正则化。

ABSTRACT

The behavior of the gradient descent (GD) algorithm is analyzed for a deep neural network model with skip-connections. It is proved that in the over-parametrized regime, for a suitable initialization, with high probability GD can find a global minimum exponentially fast. Generalization error estimates along the GD path are also established. As a consequence, it is shown that when the target function is in the reproducing kernel Hilbert space (RKHS) with a kernel defined by the initialization, there exist generalizable early-stopping solutions along the GD path. In addition, it is also shown that the GD path is uniformly close to the functions given by the related random feature model. Consequently, in this "implicit regularization" setting, the deep neural network model deteriorates to a random feature model. Our results hold for neural networks of any width larger than the input dimension.

研究动机与目标

• 理解梯度下降（GD）在带有跳跃连接的深度神经网络中找到全局最小值的条件。
• 研究 GD 是否能在无显式正则化的情况下找到可泛化的解，特别是在过参数化区域。
• 确定深度残差网络中 GD 动态是否可被随机特征模型近似，从而推断隐式正则化效应。
• 为由初始化定义的再生核希尔伯特空间（RKHS）中的目标函数，建立 GD 路径上的泛化误差估计。
• 分析深度网络的 GD 路径与相关随机特征模型之间的关系，尤其关注一致逼近性与收敛行为。

提出的方法

• 分析一个带有跳跃连接的深度残差网络模型，其中每一层通过残差连接实现：$\bm{h}^{(l+1)} = \bm{h}^{(l)} + U^{(l)}\sigma(V^{(l)}\bm{h}^{(l)})$。
• 采用过参数化设置，即网络宽度超过输入维度，从而可在初始化附近进行局部分析。
• 在激活函数内部与外部的参数之间应用时间尺度分离，将 $V^{(l)}$ 视为在 GD 更新过程中近似冻结。
• 建立深度网络中 GD 路径对由初始化固定特征的关联随机特征模型中 GD 路径的统一逼近。
• 基于神经正切核与格拉姆矩阵非退化性，采用局部分析框架，证明指数收敛性。
• 利用集中不等式与高概率界，证明格拉姆矩阵的最小特征值以高概率保持远离零。

实验结果

研究问题

• RQ1 在带有跳跃连接的深度残差网络中，梯度下降在何种条件下收敛至全局最小值？
• RQ2 梯度下降能否在无显式正则化的情况下找到可泛化的解？其条件如何依赖于目标函数？
• RQ3 深度残差网络中 GD 路径与初始化时固定特征的随机特征模型路径有多接近？
• RQ4 深度网络是否表现出超越随机特征模型的非平凡隐式正则化？
• RQ5 在此过参数化设置下，梯度下降的收敛速率如何？其与网络深度和宽度的关系是什么？

主要发现

• 在过参数化设置下，梯度下降以高概率指数级快速收敛至经验风险的全局最小值。
• 建立了 GD 路径上的泛化误差估计，表明当目标函数位于由初始化核定义的 RKHS 中时，早停策略可获得可泛化的解。
• 深度残差网络中的 GD 路径与对应随机特征模型的 GD 路径保持一致接近，意味着隐式正则化效应等同于随机特征模型的正则化效应。
• 收敛速率为指数级，衰减因子与 $\eta L \lambda_n$ 成正比，其中 $\eta$ 为学习率，$L$ 为深度，$\lambda_n$ 为格拉姆矩阵的最小特征值。
• 该结果适用于任意大于输入维度的网络宽度，无需宽度随深度或训练集大小增长。
• 只要初始化时格拉姆矩阵的最小特征值远离零，该分析在初始化的高概率下成立。