[论文解读] Deep Limits of Residual Neural Networks

Matthew Thorpe, Yves van Gennip|arXiv (Cornell University)|Oct 28, 2018

Model Reduction and Neural Networks被引用 15

一句话总结

本文证明了通过Gamma收敛，残差神经网络在深层极限下以变分方式收敛至一个非线性常微分方程（ODE）的参数估计问题，严格建立了离散残差网络与连续动力系统之间的联系。关键贡献在于证明了最优网络参数在此极限下收敛，为将深度残差网络解释为ODE的离散化提供了理论基础。

ABSTRACT

Neural networks have been very successful in many applications; we often, however, lack a theoretical understanding of what the neural networks are actually learning. This problem emerges when trying to generalise to new data sets. The contribution of this paper is to show that, for the residual neural network model, the deep layer limit coincides with a parameter estimation problem for a nonlinear ordinary differential equation. In particular, whilst it is known that the residual neural network model is a discretisation of an ordinary differential equation, we show convergence in a variational sense. This implies that optimal parameters converge in the deep layer limit. This is a stronger statement than saying for a fixed parameter the residual neural network model converges (the latter does not in general imply the former). Our variational analysis provides a discrete-to-continuum $Γ$-convergence result for the objective function of the residual neural network training step to a variational problem constrained by a system of ordinary differential equations; this rigorously connects the discrete setting to a continuum problem.

研究动机与目标

• 在深层极限下，严格连接离散残差神经网络与连续动力系统。
• 证明随着深度增加，残差网络的最优参数收敛，而不仅限于逐点收敛。
• 通过Gamma收敛，建立一个变分框架，以理解ResNet训练目标的极限行为。
• 通过连续极限解释残差网络的ODE形式，支持对网络行为的理论分析。
• 为未来对PDE极限和深度网络隐式正则化的分析奠定基础。

提出的方法

• 通过Haber & Ruthotto（2017）模型的改进版本，将残差网络形式化为连续ODE系统的离散时间格式。
• 将Gamma收敛应用于训练目标函数，证明其收敛至受ODE系统约束的变分问题。
• 使用具有共享激活函数及逐层权重与偏置的参数化函数族，假设其一致有界且Lipschitz连续。
• 通过子序列提取与一致收敛性论证，证明最小化器的收敛性，依赖于紧致性与下半连续性。
• 证明任意最小化器序列一致收敛至极限泛函的唯一最小化器。
• 通过时间步长按$1/n$缩放的离散到连续极限，定义连续控制函数$K(t), b(t)$，其中$n$为网络层数。

实验结果

研究问题

• RQ1 随着深度增加，残差神经网络的训练目标是否收敛至一个定义良好的连续问题？
• RQ2 能否证明残差网络的最优参数在深层极限下收敛，而不仅限于网络输出？
• RQ3 是否存在一个变分框架——特别是Gamma收敛——可为残差网络的ODE解释提供理论依据？
• RQ4 参数收敛性与极限问题中ODE约束的结构有何关联？
• RQ5 此收敛性对新型神经网络架构的设计与分析有何影响？

主要发现

• 残差网络训练目标在深层极限下以变分方式收敛至一个涉及非线性ODE系统的约束变分问题。
• 最优网络参数——权重$K_i$、偏置$b_i$及最终层参数——在深度$n \to \infty$时一致收敛至连续控制函数。
• 极限问题等价于一个非线性ODE的参数估计问题，为深度残差网络提供了严格的数学解释。
• 收敛性通过Gamma收敛框架建立，确保离散问题的最小化器收敛至连续问题的最小化器。
• 证明依赖于紧致性论证与子序列提取，最终表明整个最小化器序列一致收敛。
• 该结果通过证明最优参数收敛而非仅网络输出，强化了先前关于残差网络类似ODE离散化的观察。