[论文解读] A global convergence theory for deep ReLU implicit networks via over-parameterization

Tianxiang Gao, Hailiang Liu+3 more|arXiv (Cornell University)|Oct 11, 2021

Stochastic Gradient Optimization Techniques参考文献 36被引用 5

一句话总结

该论文通过过参数化建立了深度ReLU隐式神经网络的全局收敛理论。证明了当网络宽度关于训练样本数量为多项式时，即使网络具有无穷多层且平衡方程隐式求解，随机初始化的梯度下降也能线性收敛到全局最小值，适用于平方损失。

ABSTRACT

Implicit deep learning has received increasing attention recently due to the fact that it generalizes the recursive prediction rules of many commonly used neural network architectures. Its prediction rule is provided implicitly based on the solution of an equilibrium equation. Although a line of recent empirical studies has demonstrated its superior performances, the theoretical understanding of implicit neural networks is limited. In general, the equilibrium equation may not be well-posed during the training. As a result, there is no guarantee that a vanilla (stochastic) gradient descent (SGD) training nonlinear implicit neural networks can converge. This paper fills the gap by analyzing the gradient flow of Rectified Linear Unit (ReLU) activated implicit neural networks. For an $m$-width implicit neural network with ReLU activation and $n$ training samples, we show that a randomly initialized gradient descent converges to a global minimum at a linear rate for the square loss function if the implicit neural network is extit{over-parameterized}. It is worth noting that, unlike existing works on the convergence of (S)GD on finite-layer over-parameterized neural networks, our convergence results hold for implicit neural networks, where the number of layers is extit{infinite}.

研究动机与目标

• 解决在使用ReLU等非线性激活函数时，隐式神经网络训练缺乏理论理解的问题。
• 克服无限深度网络中可能无解或多解的病态平衡方程问题。
• 在非光滑、非凸优化景观下，为ReLU激活的隐式网络中的梯度下降建立全局收敛性。
• 为具有无穷多层的隐式网络提供收敛保证，将过参数化理论从有限深度网络扩展至无限深度架构。

提出的方法

• 通过平衡方程形式化隐式网络：$\mathbf{z}^\ell = \sigma\left(\frac{\gamma}{\sqrt{m}}\mathbf{A}\mathbf{z}^{\ell-1} + \phi(\mathbf{x})\right)$，其中$\sigma$为ReLU，$\gamma \in (0,1)$确保极限$\mathbf{z}^* = \lim_{\ell \to \infty} \mathbf{z}^\ell$的收敛性。
• 将预测建模为$\hat{\mathbf{y}} = \mathbf{Z}\mathbf{u} + \mathbf{\Phi}\mathbf{v}$，其中$\mathbf{Z}, \mathbf{\Phi}$表示隐式网络的输出，$\mathbf{u}, \mathbf{v}$为输出权重。
• 利用李雅普诺夫型函数分析梯度流，并在每一步有界预测误差$\|\hat{\mathbf{y}}(k) - \mathbf{y}\|^2$的下降量。
• 通过宽度$m = \text{poly}(n, h)$的过参数化，其中$n$为样本数量，确保训练过程中始终存在唯一平衡点。
• 利用柯西-施瓦茨不等式和矩阵范数不等式，建立$\|\hat{\mathbf{y}}(k+1) - \hat{\mathbf{y}}(k)\|$和内积$\langle \hat{\mathbf{y}}(k+1) - \hat{\mathbf{y}}(k), \hat{\mathbf{y}}(k) - \mathbf{y} \rangle$的上界。
• 在$\alpha = \mathcal{O}(\lambda_0 / n^2)$条件下，通过证明$\|\hat{\mathbf{y}}(k+1) - \mathbf{y}\|^2 \leq \left(1 - \frac{\alpha \lambda_0}{2}\right)^{k+1} \|\hat{\mathbf{y}}(0) - \mathbf{y}\|^2$，实现线性收敛。

实验结果

研究问题

• RQ1 在具有无穷多层的ReLU激活隐式神经网络中，梯度下降能否实现全局收敛？
• RQ2 过参数化是否能确保隐式网络在训练过程中具有良好的适定性及唯一平衡解？
• RQ3 尽管隐式网络的损失函数具有非光滑、非凸特性，梯度下降的收敛速率是否仍可为线性？
• RQ4 网络宽度$m$在无限深度设置下如何影响梯度下降的收敛性？
• RQ5 在初始化和学习率满足何种条件下，可保证隐式ReLU网络的全局收敛？

主要发现

• 在ReLU激活的隐式神经网络中，随机初始化的梯度下降对平方损失线性收敛至全局最小值。
• 收敛速率为$\|\hat{\mathbf{y}}(k+1) - \mathbf{y}\|^2 \leq \left(1 - \frac{\alpha \lambda_0}{2}\right)^{k+1} \|\hat{\mathbf{y}}(0) - \mathbf{y}\|^2$，表明在$k$上呈线性收敛。
• 通过$m = \text{poly}(n)$的过参数化，确保训练过程中始终存在唯一平衡点，解决了适定性问题。
• 该结果在即使网络具有无穷多层的情况下依然成立，将过参数化理论从有限深度网络扩展至无限深度架构。
• 分析表明，在Gram矩阵最小特征值$\lambda_0$的温和假设下，梯度流保持稳定且收敛。
• 该收敛保证适用于固定步长$\alpha = \mathcal{O}(\lambda_0 / n^2)$的标准（随机）梯度下降，无需投影或求解子问题。