[论文解读] An Improved Analysis of Training Over-parameterized Deep Neural Networks

Difan Zou, Quanquan Gu|arXiv (Cornell University)|Jun 11, 2019

Stochastic Gradient Optimization Techniques参考文献 25被引用 47

一句话总结

本文在深度 ReLU 网络的 GD/SGD 训练中提出了更温和的过-参数化条件和更快的收敛速度，相较于以往界限，尤其在两层网络方面得到改进。

ABSTRACT

A recent line of research has shown that gradient-based algorithms with random initialization can converge to the global minima of the training loss for over-parameterized (i.e., sufficiently wide) deep neural networks. However, the condition on the width of the neural network to ensure the global convergence is very stringent, which is often a high-degree polynomial in the training sample size $n$ (e.g., $O(n^{24})$). In this paper, we provide an improved analysis of the global convergence of (stochastic) gradient descent for training deep neural networks, which only requires a milder over-parameterization condition than previous work in terms of the training sample size and other problem-dependent parameters. The main technical contributions of our analysis include (a) a tighter gradient lower bound that leads to a faster convergence of the algorithm, and (b) a sharper characterization of the trajectory length of the algorithm. By specializing our result to two-layer (i.e., one-hidden-layer) neural networks, it also provides a milder over-parameterization condition than the best-known result in prior work.

研究动机与目标

• 阐明为何过-参数化能够使基于梯度的训练在深度 ReLU 网络中实现全局收敛。
• 推导更紧的梯度下界以实现更快的收敛速度。
• 精炼轨迹长度分析以更好地刻画优化动力学。
• 将结果专注于两层网络，以便与先前已知的最优界限进行比较。
• 将结果扩展至 SGD，并与现有的 GD/SGD 保证进行对比。

提出的方法

• 对所有层使用高斯随机初始化进行训练分析。
• 通过引入与层输出几乎正交的梯度区域来建立梯度下界。
• 证明更严格的轨迹长度界，以实现望远镜求和的论证。
• 推导在给定目标精度 ε 下保证收敛所需的宽度 m 的条件。
• 将一般结果专门应用于两层网络，以便直接与先前工作比较。
• 给出对 SGD 的扩展以及相应的过-参数化与迭代界。

实验结果

研究问题

• RQ1 在更温和的过-参数化条件下，GD/SGD 可以在深度 ReLU 网络上达到 ε 训练损失吗？
• RQ2 更紧的梯度下界与轨迹长度分析如何相较于先前结果影响迭代复杂度？
• RQ3 这些结果对两层 ReLU 网络与更深结构有何意义？
• RQ4 结果是否可以扩展到 SGD 以及除了平方损失以外的其他损失函数？

主要发现

• 在 GD 在 O(n^2 L^2 log(1/ε)/φ) 次迭代内实现 ε 训练损失，且每层有 m = Ω(kn^8 L^12 φ^{-4} log^3(m)) 个隐层节点。
• 在 O(n^5 log(m) log^2(1/ε)/(Bφ^2)) 次迭代内实现 ε 的期望训练损失，且每层有 m = Ω(kn^{17} L^{12} log^3(m) B^{-4} φ^{-8}) 条件。
• 对于两层网络，GD 在 O(n^2 log(1/ε)/φ) 次迭代内实现 ε 训练损失，且 m = Ω(kn^8 log^3(m)/φ^4)。
• 过-参数化条件在各自设定中分别至少比先前工作提升 n^4/φ 与 n^7 B^5 的因子。
• 分析引入梯度区域以获得更紧的梯度下界，从而提高收敛速度。
• 轨迹长度分析给出更紧的界，使对问题参数的依赖更有利。