[论文解读] Convergence of gradient descent for deep neural networks

Sourav Chatterjee|arXiv (Cornell University)|Mar 30, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文为非凸优化中的梯度下降提出了一种新颖的收敛准则，证明在合适的初始化下，当输入维度至少等于数据点数量时，具有平滑且严格递增激活函数的深度神经网络中的梯度下降将收敛到全局最小值。其关键贡献在于，网络宽度无需随数据规模增长，从而在温和条件下实现了固定宽度网络的收敛。

ABSTRACT

We give a simple local Polyak-Lojasiewicz (PL) criterion that guarantees linear (exponential) convergence of gradient flow and gradient descent to a zero-loss solution of a nonnegative objective. We then verify this criterion for the squared training loss of a feedforward neural network with smooth, strictly increasing activation functions, in a regime that is complementary to the usual over-parameterized analyses: the network width and depth are fixed, while the input data vectors are assumed to be linearly independent (in particular, the ambient input dimension is at least the number of data points). A notable feature of the verification is that it is constructive: it leads to a simple "positive" initialization (zero first-layer weights, strictly positive hidden-layer weights, and sufficiently large output-layer weights) under which gradient descent provably converges to an interpolating global minimizer of the training loss. We also discuss a probabilistic corollary for random initializations, clarify its dependence on the probability of the required initialization event, and provide numerical experiments showing that this theory-guided initialization can substantially accelerate optimization relative to standard random initializations at the same width.

研究动机与目标

• 建立非凸优化中梯度下降的一般收敛准则，以保证收敛至全局最小值。
• 解决对梯度下降在深度学习中常找到全局最小值的原因的理解空白，尽管存在非凸性。
• 表明即使网络宽度固定，而非随数据规模增长，收敛也是可能的。
• 提供梯度下降在小步长下以指数速度收敛至初始化邻域内全局最小值的局部球的条件。
• 将分析扩展至具有平滑且严格递增激活函数、任意深度的深度神经网络。

提出的方法

• 提出一种基于梯度范数平方与函数值之比的新收敛准则，定义为 $ \alpha(x_0,r) = \inf_{x \in B(x_0,r), f(x) \neq 0} \frac{|\nabla f(x)|^2}{f(x)} $，若函数在球内恒为零，则 $ \alpha = \infty $。
• 证明若 $ 4f(x_0) < r^2 \alpha(x_0,r) $，则梯度流在 $ B(x_0,r) $ 内以指数速度收敛至全局最小值，且满足边界 $ |\phi(t) - x^*| \leq r e^{-\alpha t/2} $ 和 $ f(\phi(t)) \leq e^{-\alpha t} f(x_0) $。
• 证明小步长 $ \eta $ 下梯度下降的类似结果，表明收敛至全局最小值且具有线性收敛速率：$ |x_k - x^*| \leq (1 - \delta)^{k/2} r $，$ f(x_k) \leq (1 - \delta)^k f(x_0) $，其中 $ \delta = \min\{1, (1 - \epsilon)\alpha\eta\} $。
• 通过分析训练损失 $ S(w) $ 将该准则应用于深度神经网络，表明在合适初始化（如 i.i.d. 高斯权重）下，准则 $ 4S(w) < \frac{\delta^2}{4} \inf_{w' \in B(w,\delta/2)} \frac{|\nabla S(w')|^2}{S(w')} $ 以正概率成立。
• 利用概率论论证表明，当输入维度 $ d \geq \text{某个常数} $ 时，以高概率初始化满足收敛准则，并通过连续性与满足条件的正概率将其推广至所有 $ d $。
• 利用对 $ S(w) $ 和激活函数导数的有界性（上下界一致）来控制梯度与损失的比值，确保准则得以满足。

实验结果

研究问题

• RQ1 在非凸深度学习问题中，梯度下降在何种条件下可收敛至全局最小值，即使网络宽度不随数据规模增长？
• RQ2 在数据和激活函数的假设较弱时，是否可保证固定宽度深度神经网络中梯度下降收敛至全局最小值？
• RQ3 基于比值 $ |\nabla f|^2 / f $ 的所提收敛准则，与 Kurydka–Łojasiewicz 不等式等现有工具相比，有何不同或更强之处？
• RQ4 初始化在确保梯度下降避免局部最小值并实现全局收敛中起到何种作用？
• RQ5 当输入维度至少等于数据点数量时，该收敛准则是否可在深度网络中以正概率满足？

主要发现

• 在输入维度至少等于数据点数量的条件下，具有平滑且严格递增激活函数的深度神经网络中，小步长梯度下降可收敛至训练损失的全局最小值。
• 在连续时间（梯度流）下收敛为指数速度，在离散时间（梯度下降）下为线性速度，且收敛速率有明确边界。
• 网络宽度可固定且与数据点数量无关，这与先前要求宽度随数据规模增长的结果形成对比。
• 以高概率，使用 i.i.d. $ \mathcal{N}(0, c/d) $ 权重的随机初始化在输入维度 $ d $ 足够大时满足收敛准则。
• 对于所有输入维度 $ d $，存在正概率使得初始化满足收敛准则，从而确保梯度下降以几乎必然性收敛至全局最小值。
• 分析表明，在指定初始化下，训练损失 $ S(w) $ 以正概率满足关键不等式 $ 4S(w) < \frac{\delta^2}{4} \inf_{w' \in B(w,\delta/2)} \frac{|\nabla S(w')|^2}{S(w')} $，从而实现收敛。