[论文解读] A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions

Arnulf Jentzen, Adrian Riekert|arXiv (Cornell University)|Aug 10, 2021

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文证明了在随机初始化下，随机梯度下降在训练ReLU神经网络时，对于分段线性目标函数可收敛至零风险。在高斯初始化和均匀输入分布下，作者通过证明全局最小值构成一个具有满秩Hessian矩阵的二阶连续可微子流形，利用近期针对随机初始化下非凸优化的收敛理论框架，建立了收敛性。

ABSTRACT

Gradient descent (GD) type optimization methods are the standard instrument to train artificial neural networks (ANNs) with rectified linear unit (ReLU) activation. Despite the great success of GD type optimization methods in numerical simulations for the training of ANNs with ReLU activation, it remains - even in the simplest situation of the plain vanilla GD optimization method with random initializations and ANNs with one hidden layer - an open problem to prove (or disprove) the conjecture that the risk of the GD optimization method converges in the training of such ANNs to zero as the width of the ANNs, the number of independent random initializations, and the number of GD steps increase to infinity. In this article we prove this conjecture in the situation where the probability distribution of the input data is equivalent to the continuous uniform distribution on a compact interval, where the probability distributions for the random initializations of the ANN parameters are standard normal distributions, and where the target function under consideration is continuous and piecewise affine linear. Roughly speaking, the key ingredients in our mathematical convergence analysis are (i) to prove that suitable sets of global minima of the risk functions are \\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}, (ii) to prove that the Hessians of the risk functions on these sets of global minima satisfy an appropriate \\emph{maximal rank condition}, and, thereafter, (iii) to apply the machinery in [Fehrman, B., Gess, B., Jentzen, A., Convergence rates for the stochastic gradient descent method for non-convex objective functions. J. Mach. Learn. Res. 21(136): 1--48, 2020] to establish convergence of the GD optimization method with random initializations.

研究动机与目标

• 为解决随机初始化下梯度下降在训练ReLU神经网络时是否收敛至零风险这一开放问题。
• 在均匀输入分布和标准正态初始化条件下，建立连续、分段仿射目标函数的收敛性。
• 证明风险函数的全局最小值集合是参数空间中的二阶连续可微子流形。
• 验证风险函数在该子流形上的Hessian矩阵满足最大秩条件。
• 应用先进收敛理论，证明当宽度、初始化次数和迭代步数增加时，几乎必然收敛至零风险。

提出的方法

• 证明风险函数的全局最小值集合是神经网络参数空间中的 $ C^2 $-光滑子流形。
• 建立风险函数在该子流形上受限的Hessian矩阵具有最大秩，确保非退化性。
• 使用微分几何工具分析梯度流在全局最小值子流形上的局部收敛行为。
• 利用Fehrman等（2020）提出的非凸优化中随机初始化的收敛框架。
• 定义具有 $ K $ 个独立随机初始化的随机梯度下降方案，并追踪所有运行中的最小风险。
• 应用集中与尾部概率不等式，证明当 $ K \to \infty $ 时，达到任意小风险的概率趋于1。

实验结果

研究问题

• RQ1 在训练ReLU网络时，对于分段线性目标函数，随机初始化下的梯度下降是否收敛至零风险？
• RQ2 风险函数的全局最小值能否在参数空间中表征为光滑子流形？
• RQ3 风险函数在全局最小值集合上的Hessian矩阵是否非退化（满秩）？
• RQ4 当随机初始化次数和迭代步数增加时，收敛结果是否几乎必然成立？
• RQ5 在给定的几何与概率假设下，收敛速率是否可量化？

主要发现

• 风险函数的全局最小值集合在神经网络参数空间中构成一个 $ C^2 $-光滑子流形。
• 该子流形上风险函数的Hessian矩阵满足最大秩条件，确保局部稳定性和收敛性。
• 对于任意固定的步长 $ \gamma \leq \mathfrak{g} = ((3N+1)(24\mathfrak{D}^5 + 16N\mathfrak{D}^7)(\sup_{x\in[a,b]} \mathfrak{p}(x)))^{-1} $，当随机初始化次数 $ K \to \infty $ 时，风险以几乎必然的方式收敛至零。
• 风险的收敛速率在迭代步数 $ n $ 上呈指数级，对于子流形邻域内的初始化，有 $ \mathcal{L}(\Theta_n^{k,\gamma}) \leq \mathfrak{C} \exp(-\mathfrak{c} \gamma n) $。
• 在 $ K $ 个独立运行中，最小风险收敛至零的概率下界为 $ 1 - [\mathbb{P}(\Theta_0^{1,\gamma} \notin U)]^K $，当 $ K \to \infty $ 时趋于1。
• 该结果在均匀输入分布于紧区间、标准正态初始化以及连续分段仿射目标函数的假设下成立。