[论文解读] Gradient Descent Finds Global Minima of Deep Neural Networks

Simon S. Du, Jason D. Lee+3 more|arXiv (Cornell University)|Nov 9, 2018

Sparse and Compressive Sensing Techniques参考文献 47被引用 198

一句话总结

这篇论文证明了梯度下降在参数过多的深度神经网络（带残差连接的 ResNet）上能够在多项式时间内实现零训练损失，并通过分析训练过程中的 Gram 矩阵稳定性，扩展到卷积 ResNet。

ABSTRACT

Gradient descent finds a global minimum in training deep neural networks despite the objective function being non-convex. The current paper proves gradient descent achieves zero training loss in polynomial time for a deep over-parameterized neural network with residual connections (ResNet). Our analysis relies on the particular structure of the Gram matrix induced by the neural network architecture. This structure allows us to show the Gram matrix is stable throughout the training process and this stability implies the global optimality of the gradient descent algorithm. We further extend our analysis to deep residual convolutional neural networks and obtain a similar convergence result.

研究动机与目标

• 理解为什么在随机初始化的梯度方法下，深度网络能够实现零训练损失的机理。
• 在深度全连接、ResNet 以及卷积 ResNet 架构中，给出梯度下降收敛到全局最小值的条件。
• 建立能够进行训练动力学严格稳定性分析的激活函数与架构假设。

提出的方法

• 定义一个 Gram 矩阵框架来捕捉深度网络的训练动力学。
• 证明在足够宽度下，初始化时的 Gram 矩阵接近一个数据和架构相关的极限，并在训练过程中保持稳定。
• 用幂方法风格的论证将收敛速度与极限 Gram 矩阵的最小特征值相关联。
• 为全连接、ResNet 和卷积 ResNet 推导架构特定的 Gram 矩阵递归定义，以界定跨层扰动。
• 由于跳跃连接，ResNet 中的扰动传播更温和，降低深度对宽度的指数依赖。
• 提供收敛定理，给出在适当步长和过参数化条件下梯度下降的线性收敛率。

实验结果

研究问题

• RQ1 梯度下降是否能够在带残差连接的深度、参数过多的网络上达到零训练损失？
• RQ2 网络宽度与架构（全连接 vs. ResNet vs. 卷积 ResNet）如何影响所需的过参数化程度和收敛速度？
• RQ3 Gram 矩阵在保证全局收敛中的作用及其在训练中的稳定性有多大？
• RQ4 为了确保 Gram 矩阵正定性从而实现收敛，需要哪些激活函数与数据假设？

主要发现

• 对于深度全连接网络来说，充足的宽度 m 能在给定初始化和数据假设下使梯度下降以线性速率收敛到零训练损失。
• 对于 ResNet 架构，单层所需的宽度随深度增长的速度比全连接网络更慢，因而收敛保证具有多项式的深度依赖。
• 对于卷积 ResNet，在数据规模、补丁数量和深度上的宽度多项式即可实现收敛到零训练损失。
• 分析表明 Gram 矩阵 G(H)(k) 保持接近数据与架构相关的极限 K(H)，且 K(H) 的严格正特征值保证线性收敛。
• ResNet 的跳跃连接稳定扰动，避免了对宽度要求的指数深度依赖，使深度呈现多项式依赖。
• 上述结果在平滑激活（如 softplus）和分析性非多项式激活的情况下成立，且在随机高斯初始化与平方损失下成立。