[论文解读] Loss landscapes and optimization in over-parameterized non-linear systems and neural networks

Chaoyue Liu, Libin Zhu+1 more|arXiv (Cornell University)|Feb 29, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用 11

一句话总结

本文提出PL∗条件作为解释梯度下降在过参数化非线性系统与神经网络中成功的原因的通用框架。它表明，宽深度神经网络在初始化附近满足PL∗条件，从而保证收敛至全局最小值；并为近似过参数化系统提出一个松弛版本（PL∗_ε），提供了一套与经典线性过参数化分析中通过切线核条件数所对应的非凸优化理论。

ABSTRACT

The success of deep learning is due, to a large extent, to the remarkable effectiveness of gradient-based optimization methods applied to large neural networks. The purpose of this work is to propose a modern view and a general mathematical framework for loss landscapes and efficient optimization in over-parameterized machine learning models and systems of non-linear equations, a setting that includes over-parameterized deep neural networks. Our starting observation is that optimization problems corresponding to such systems are generally not convex, even locally. We argue that instead they satisfy PL$^*$, a variant of the Polyak-Lojasiewicz condition on most (but not all) of the parameter space, which guarantees both the existence of solutions and efficient optimization by (stochastic) gradient descent (SGD/GD). The PL$^*$ condition of these systems is closely related to the condition number of the tangent kernel associated to a non-linear system showing how a PL$^*$-based non-linear theory parallels classical analyses of over-parameterized linear equations. We show that wide neural networks satisfy the PL$^*$ condition, which explains the (S)GD convergence to a global minimum. Finally we propose a relaxation of the PL$^*$ condition applicable to "almost" over-parameterized systems.

研究动机与目标

• 开发一个现代数学框架，以理解过参数化非线性系统与神经网络中的优化问题。
• 识别欠参数化与过参数化损失景观之间的关键差异，特别是后者缺乏局部凸性。
• 建立PL∗条件——即Polyak-Łojasiewicz条件的变体——在过参数化系统参数空间的大部分区域成立，从而确保梯度下降/GD的全局收敛性。
• 将PL∗条件与切线核的条件数联系起来，与经典过参数化线性系统理论形成类比。
• 为并非严格过参数化的系统提出松弛版本（PL∗_ε），将理论扩展至实际训练场景。

提出的方法

• 提出PL∗条件作为非凸过参数化系统中梯度下降实现全局收敛的充分条件。
• 证明宽深度神经网络在初始化附近的邻域内满足PL∗条件，从而保证收敛至全局最小值。
• 定义非线性系统的切线核，并将其条件数与PL∗条件关联，从而推广线性过参数化分析理论。
• 引入PL∗_ε松弛形式，以处理并非严格过参数化但沿优化路径表现如过参数化系统的系统。
• 利用该框架分析监督学习以及非线性方程组（包括多分类与多输出情形）。
• 通过将PL∗与条件数的定义扩展至黎曼流形，将理论应用于流形，保持在良好行为坐标变换下的不变性。

实验结果

研究问题

• RQ1 为何梯度方法（如SGD）在高度非凸的过参数化神经网络中仍能有效收敛？
• RQ2 损失景观的何种数学特性使得在缺乏局部凸性的情况下，过参数化非线性系统仍能实现高效优化？
• RQ3 在过参数化系统中，PL∗条件如何与切线核的条件数相关联？
• RQ4 PL∗条件能否被松弛以适用于并非严格过参数化但优化过程中表现如过参数化系统的系统？
• RQ5 即使系统未正式定义为过参数化，大型模型的优化路径在多大程度上仍保持在PL∗成立的区域内？

主要发现

• 过参数化神经网络在初始化附近的邻域内满足PL∗条件，从而保证梯度下降收敛至全局最小值。
• PL∗条件与切线核的条件数密切相关，为经典过参数化线性系统理论提供了非线性推广。
• 过参数化系统的损失景观本质上是非凸的，且在全局最小值附近不具局部凸性，这与欠参数化系统形成鲜明对比。
• PL∗_ε松弛形式使得理论可适用于并非严格过参数化的系统，但其在优化轨迹上仍保持功能上的过参数化特性。
• 该框架可自然推广至流形，保持关键性质（如条件数在良好行为坐标变换下的不变性）。
• 理论与实证证据表明，许多大规模模型在整个训练过程中均保持在PL∗_ε区域内，从而解释了SGD在实践中高效的原因。