[论文解读] Large-time asymptotics in deep learning

Carlos Esteve, Borjan Geshkovski+2 more|arXiv (Cornell University)|Aug 6, 2020

Model Reduction and Neural Networks参考文献 93被引用 9

一句话总结

本文通过神经微分方程（Neural ODE）框架研究深度学习的大时间渐近行为，表明训练误差随最终时间 $T$ 呈 $ olimits\mathcal{O}(1/T)$ 衰减，且最优参数收敛至最小 $L^2$-范数插值解。通过引入受制于转盘理论（turnpike theory）启发的积分正则化项，作者实现了误差与参数的指数衰减 $ olimits\mathcal{O}(e^{-\mu t})$，并将结果推广至通过移动网格实现的变宽度残差网络（ResNets）的连续时空神经网络。

ABSTRACT

We consider the neural ODE perspective of supervised learning and study the impact of the final time $T$ (which may indicate the depth of a corresponding ResNet) in training. For the classical $L^2$--regularized empirical risk minimization problem, whenever the neural ODE dynamics are homogeneous with respect to the parameters, we show that the training error is at most of the order $\mathcal{O}\left(\frac{1}{T} ight)$. Furthermore, if the loss inducing the empirical risk attains its minimum, the optimal parameters converge to minimal $L^2$--norm parameters which interpolate the dataset. By a natural scaling between $T$ and the regularization hyperparameter $λ$ we obtain the same results when $λ\searrow0$ and $T$ is fixed. This allows us to stipulate generalization properties in the overparametrized regime, now seen from the large depth, neural ODE perspective. To enhance the polynomial decay, inspired by turnpike theory in optimal control, we propose a learning problem with an additional integral regularization term of the neural ODE trajectory over $[0,T]$. In the setting of $\ell^p$--distance losses, we prove that both the training error and the optimal parameters are at most of the order $\mathcal{O}\left(e^{-μt} ight)$ in any $t\in[0,T]$. The aforementioned stability estimates are also shown for continuous space-time neural networks, taking the form of nonlinear integro-differential equations. By using a time-dependent moving grid for discretizing the spatial variable, we demonstrate that these equations provide a framework for addressing ResNets with variable widths.

研究动机与目标

• 通过神经 ODE 视角分析最终时间 $T$ 对深度学习中训练误差与泛化能力的影响。
• 在过参数化情形下，建立当 $T \to \infty$ 时最优参数收敛至最小 $L^2$-范数插值解的理论。
• 通过引入受最优控制转盘理论启发的积分正则化项，改进多项式衰减速率。
• 将结果推广至由非线性积分微分方程控制的连续时空神经网络。
• 证明变宽度残差网络可通过连续时空公式中的时间依赖移动网格进行建模。

提出的方法

• 将监督学习建模为以最终时间 $T$ 为时间范围的神经 ODE 最优控制问题，将深度视为时间跨度。
• 在参数同质动力学下分析 $L^2$-正则化经验风险最小化，推导出 $ olimits\mathcal{O}(1/T)$ 的训练误差衰减。
• 引入包含 $[0,T]$ 上积分正则化项的增强损失函数，以强制实现类似转盘的行为与指数稳定性。
• 利用 Gronwall 不等式与可控性论证，推导轨迹与参数的稳定性估计。
• 采用时间依赖的移动网格对连续时空神经网络中的空间变量进行离散化，实现变宽度残差网络的建模。
• 在增强公式下，证明对于 $ olimits\ell^p$-损失，训练误差与最优参数均呈指数衰减 $ olimits\mathcal{O}(e^{-\mu t})$。

实验结果

研究问题

• RQ1 在神经 ODE 中，增加最终时间 $T$ 如何影响 $L^2$-正则化学习中的训练误差？
• RQ2 在过参数化情形下，当 $T \to \infty$ 时，最优参数的极限行为是什么？
• RQ3 对轨迹施加积分正则化是否可使收敛速率超越 $ olimits\mathcal{O}(1/T)$？
• RQ4 结果如何推广至具有可变宽度的连续时空神经网络？
• RQ5 转盘理论在实现神经 ODE 训练中指数收敛的过程中起到何种作用？

主要发现

• 当神经 ODE 动力学在参数上为同质时，在 $L^2$-正则化经验风险最小化下，训练误差呈 $ olimits\mathcal{O}(1/T)$ 衰减。
• 当 $T \to \infty$ 时，最优参数收敛至数据集的最小 $L^2$-范数插值解，确保在过参数化情形下的泛化能力。
• 通过令 $\lambda \searrow 0$ 并固定 $T$，可保持相同的 $ olimits\mathcal{O}(1/T)$ 衰减，从而建立深度与正则化的关联。
• 引入额外的积分正则化项后，训练误差与最优参数在所有 $t \in [0,T]$ 上均呈指数衰减 $ olimits\mathcal{O}(e^{-\mu t})$。
• 指数衰减结果适用于 $ olimits\ell^p$-距离损失，并可推广至由非线性积分微分方程控制的连续时空神经网络。
• 时间依赖的移动网格使得连续时空框架能够建模具有可变宽度的残差网络，同时保持稳定性与收敛性特征。