[论文解读] Global Convergence of Three-layer Neural Networks in the Mean Field Regime

Huy Tuan Pham, Phan-Minh Nguyen|arXiv (Cornell University)|May 11, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用 4

一句话总结

本文在均场框架下，针对无正则化的三层前馈神经网络，在随机梯度下降设置中建立了全局收敛性。通过引入一种新颖的神经元嵌入框架以处理交织的对称群，作者在不依赖凸性的前提下，借助代数拓扑论证证明了有限时间内的通用逼近性质，从而实现对全局最优解的收敛。

ABSTRACT

In the mean field regime, neural networks are appropriately scaled so that as the width tends to infinity, the learning dynamics tends to a nonlinear and nontrivial dynamical limit, known as the mean field limit. This lends a way to study large-width neural networks via analyzing the mean field limit. Recent works have successfully applied such analysis to two-layer networks and provided global convergence guarantees. The extension to multilayer ones however has been a highly challenging puzzle, and little is known about the optimization efficiency in the mean field regime when there are more than two layers. In this work, we prove a global convergence result for unregularized feedforward three-layer networks in the mean field regime. We first develop a rigorous framework to establish the mean field limit of three-layer networks under stochastic gradient descent training. To that end, we propose the idea of a extit{neuronal embedding}, which comprises of a fixed probability space that encapsulates neural networks of arbitrary sizes. The identified mean field limit is then used to prove a global convergence guarantee under suitable regularity and convergence mode assumptions, which -- unlike previous works on two-layer networks -- does not rely critically on convexity. Underlying the result is a universal approximation property, natural of neural networks, which importantly is shown to hold at extit{any} finite training time (not necessarily at convergence) via an algebraic topology argument.

研究动机与目标

• 在均场框架下建立三层神经网络的全局收敛性，其中优化动力学由非线性极限所支配。
• 解决多层网络中交织对称群带来的概念性挑战，该挑战阻碍了以往的均场分析。
• 为通过随机梯度下降训练的三层网络建立严格的均场极限框架。
• 在不依赖凸性的前提下证明全局收敛性，与以往两层分析形成对比。
• 展示一种在任意有限训练时间下成立的通用逼近性质，而不仅限于收敛时刻。

提出的方法

• 引入神经元嵌入——一个固定的概率空间，能够捕捉任意宽度的神经网络，从而实现对均场极限的分析。
• 采用基于 Sznitman (1991) 和 Mei et al. (2018) 启发的测度论框架，严格连接有限宽度网络与其均场极限。
• 建立定量逼近界：当 $n_{\min}^{-1}\log n_{\max} \ll 1$ 时，均场极限可逼近网络，且该条件与数据维度无关。
• 采用代数拓扑论证，证明在训练任意有限时刻均有效的通用逼近性质。
• 在正则性和收敛模式假设下，证明均场极限收敛至全局最优解，且无需假设凸性。
• 改编 Chizat & Bach (2018) 的技术，但通过新框架将其扩展至非凸的三层设置。

实验结果

研究问题

• RQ1 尽管缺乏凸性，是否可在均场框架下为三层神经网络建立全局收敛性？
• RQ2 如何在均场极限中形式化处理多层网络中的交织对称群？
• RQ3 三层网络的通用逼近性质是否在有限训练时间内成立，而不仅限于收敛时刻？
• RQ4 在训练过程中，何种条件可确保均场极限准确逼近有限宽度网络？
• RQ5 是否可不依赖凸性来证明收敛保证，如以往两层分析中所采用的那样？

主要发现

• 神经元嵌入框架成功捕捉了在随机梯度下降下三层网络的均场极限，即使多个对称群同时作用。
• 当 $n_{\min}^{-1}\log n_{\max} \ll 1$ 时，均场极限可良好逼近有限宽度网络，且该条件与数据维度无关。
• 在适当的正则性和收敛模式假设下，均场极限可实现对全局最优解的全局收敛。
• 该证明不依赖凸性，标志着对以往两层均场分析的理论突破。
• 通过代数拓扑论证，证明了在任意有限训练时间下均成立的通用逼近性质，这对收敛结果至关重要。
• 该框架可推广至非独立同分布初始化，且能处理非独立同分布方案，克服了以往公式的局限性。