[论文解读] A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks

Phan-Minh Nguyen, Huy Tuan Pham|arXiv (Cornell University)|Jan 30, 2020

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文为深度多层神经网络的平均场极限建立了严格的数学框架，引入了一种新颖的神经元嵌入方法以建模任意宽度的网络。研究证明了在独立同分布（i.i.d.）初始化下，二层和三层网络在非凸损失函数下可实现全局收敛至最优解；对于更深的网络，提出了一种名为双向多样性（bidirectional diversity）的新相关初始化方案，成功克服了在i.i.d.权重下深度网络存在的退化问题。

ABSTRACT

We develop a mathematically rigorous framework for multilayer neural networks in the mean field regime. As the network's widths increase, the network's learning trajectory is shown to be well captured by a meaningful and dynamically nonlinear limit (the extit{mean field} limit), which is characterized by a system of ODEs. Our framework applies to a broad range of network architectures, learning dynamics and network initializations. Central to the framework is the new idea of a extit{neuronal embedding}, which comprises of a non-evolving probability space that allows to embed neural networks of arbitrary widths. Using our framework, we prove several properties of large-width multilayer neural networks. Firstly we show that independent and identically distributed initializations cause strong degeneracy effects on the network's learning trajectory when the network's depth is at least four. Secondly we obtain several global convergence guarantees for feedforward multilayer networks under a number of different setups. These include two-layer and three-layer networks with independent and identically distributed initializations, and multilayer networks of arbitrary depths with a special type of correlated initializations that is motivated by the new concept of extit{bidirectional diversity}. Unlike previous works that rely on convexity, our results admit non-convex losses and hinge on a certain universal approximation property, which is a distinctive feature of infinite-width neural networks and is shown to hold throughout the training process. Aside from being the first known results for global convergence of multilayer networks in the mean field regime, they demonstrate flexibility of our framework and incorporate several new ideas and insights that depart from the conventional convex optimization wisdom.

研究动机与目标

• 为宽度趋于无穷时多层神经网络的平均场极限建立一个数学上严谨的框架。
• 解决在独立同分布（i.i.d.）初始化下深度网络（深度≥4）出现退化现象的挑战。
• 在非凸损失函数下，为深度网络建立全局收敛性保证，摆脱对凸优化假设的依赖。
• 提出并形式化“双向多样性”这一新型相关初始化方案，以实现更深架构中的收敛性。
• 通过引入在整个训练过程中保持有效的通用逼近性质，统一并扩展先前的平均场结果。

提出的方法

• 引入神经元嵌入——一种不随时间演化的概率空间，可嵌入任意宽度的神经网络，从而实现对其极限行为的分析。
• 通过描述网络权重分布演化的非线性常微分方程组（ODEs）定义平均场极限。
• 采用有限宽度网络与其平均场极限之间的耦合过程，证明轨迹的收敛性。
• 在较弱的正则性条件下，证明平均场ODE解的存在性与唯一性。
• 利用无限宽网络的通用逼近性质，该性质在训练过程中得以保持，从而在非凸损失下仍能实现收敛。
• 提出双向多样性作为相关初始化方案，可防止深度网络（深度≥4）中的退化现象，实现全局收敛。

实验结果

研究问题

• RQ1 能否为具有任意架构和学习动态的一般多层神经网络建立严格的平均场极限？
• RQ2 为何独立同分布（i.i.d.）初始化会导致深度网络（深度≥4）出现退化？如何克服这一问题？
• RQ3 能否在不依赖凸性假设的前提下，证明深度网络在非凸损失函数下的全局收敛性？
• RQ4 无限宽网络的通用逼近性质在训练动态和收敛性中起到何种作用？
• RQ5 相关初始化（如双向多样性）如何使在i.i.d.初始化下失效的深度网络实现全局收敛？

主要发现

• 对于采用i.i.d.初始化的二层和三层网络，在非凸损失函数下可证明其全局收敛至最优解，且无需依赖凸性假设。
• 在四层或更多层网络中采用i.i.d.初始化时，显著的退化效应被观察到，导致无法收敛至全局最优解。
• 提出一种新型相关初始化方案——双向多样性，并证明其可实现任意深度多层网络的全局收敛。
• 无限宽网络的通用逼近性质被证明在整个训练过程中得以保持，这是在非凸损失下实现收敛的关键因素。
• 平均场极限被严格表征为一组ODE系统，且通过一种新颖的耦合过程，证明了有限宽度网络轨迹向该极限的收敛性。
• 该框架具有普适性，适用于广泛的网络架构、学习动态和初始化方案，标志着首次在平均场范式下获得深度网络的全局收敛结果。