[论文解读] Why Learning of Large-Scale Neural Networks Behaves Like Convex Optimization

Hui Jiang|arXiv (Cornell University)|Mar 6, 2019

Stochastic Gradient Optimization Techniques参考文献 21被引用 5

一句话总结

本文通过引入一个损失函数变为凸的典范空间，解释了为何在大规模神经网络中，尽管存在非凸性，梯度下降仍能收敛到全局最小值。证明表明，只要连接原始空间与典范空间的差异矩阵保持满秩——在随机初始化下极大概率成立——梯度下降就能收敛到零损失，其行为实质上等同于凸优化。

ABSTRACT

In this paper, we present some theoretical work to explain why simple gradient descent methods are so successful in solving non-convex optimization problems in learning large-scale neural networks (NN). After introducing a mathematical tool called canonical space, we have proved that the objective functions in learning NNs are convex in the canonical model space. We further elucidate that the gradients between the original NN model space and the canonical space are related by a pointwise linear transformation, which is represented by the so-called disparity matrix. Furthermore, we have proved that gradient descent methods surely converge to a global minimum of zero loss provided that the disparity matrices maintain full rank. If this full-rank condition holds, the learning of NNs behaves in the same way as normal convex optimization. At last, we have shown that the chance to have singular disparity matrices is extremely slim in large NNs. In particular, when over-parameterized NNs are randomly initialized, the gradient decent algorithms converge to a global minimum of zero loss in probability.

研究动机与目标

• 解决长期以来关于为何简单梯度下降方法在训练大规模、非凸神经网络时仍能成功这一谜题。
• 确定梯度下降在深度学习中收敛到零损失全局最小值的理论条件。
• 在不施加网络结构或数据分布限制性假设的前提下，提供数学上严谨的解释。
• 通过新颖的数学框架，将深度学习中的经验观察与理论优化原理统一起来。
• 从理论上解释常见的深度学习实践，如随机权重初始化和过参数化。

提出的方法

• 通过傅里叶分析推导出一个典范模型空间，将原始的非凸优化问题转化为凸问题。
• 定义一个差异矩阵，表示原始权重空间与典范空间之间的逐点线性变换。
• 证明在典范空间中目标函数变为凸函数，从而在满秩条件下实现全局收敛。
• 将差异矩阵的秩作为优化成功的关键决定因素进行分析，表明在过参数化网络中其奇异化极为罕见。
• 使用概率论论证表明，在过参数化网络中，随机初始化可使差异矩阵以概率1保持满秩。
• 应用通用逼近理论，建立模型空间在 $L^1(\mathbb{U}_K)$ 中函数的完备性，确保零损失解的存在能力。

实验结果

研究问题

• RQ1 为何梯度下降方法在大规模、非凸神经网络中仍能持续收敛到全局最小值，尽管理论上预期会失败？
• RQ2 在何种数学条件下，神经网络的优化景观会表现得像凸问题？
• RQ3 差异矩阵的结构如何影响神经网络训练中梯度下降的收敛行为？
• RQ4 随机初始化在确保差异矩阵满秩及由此实现全局收敛中起什么作用？
• RQ5 为何过参数化在实践中对实现零损失收敛至关重要？其背后的理论保证是什么？

主要发现

• 在学习大规模神经网络时，目标函数在典范模型空间中变为凸函数，从而在适当条件下实现全局收敛。
• 梯度下降仅当差异矩阵在整个训练过程中保持满秩时，才会收敛到零损失的全局最小值。
• 在过参数化网络中，若采用随机初始化，差异矩阵奇异的概率可忽略不计。
• 死神经元（始终不激活）和重复神经元（权重和输出完全相同）会降低差异矩阵的秩，可能阻碍收敛。
• 在高维、随机初始化的网络中，出现此类秩亏缺配置的可能性极低，这解释了SGD的鲁棒性。
• 该理论框架可广泛适用于各类函数类，包括解析函数和带限函数，超越了标准神经网络设置的限制。