[论文解读] Identifying and attacking the saddle point problem in high-dimensional non-convex optimization

Yann Dauphin, Razvan Pascanu+4 more|arXiv (Cornell University)|Jun 10, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用 461

一句话总结

本文识别出鞍点而非局部极小值是高维非凸优化中的主要障碍，提出无鞍点牛顿法，通过使用绝对值逆海森矩阵对梯度进行重标度，以快速逃离鞍点。该方法在训练深度神经网络和循环神经网络时优于梯度下降法和拟牛顿法，在基准任务上实现了更低的测试误差和更快的收敛速度。

ABSTRACT

A central challenge to many fields of science and engineering involves minimizing non-convex error functions over continuous, high dimensional spaces. Gradient descent or quasi-Newton methods are almost ubiquitously used to perform such minimizations, and it is often thought that a main source of difficulty for these local methods to find the global minimum is the proliferation of local minima with much higher error than the global minimum. Here we argue, based on results from statistical physics, random matrix theory, neural network theory, and empirical evidence, that a deeper and more profound difficulty originates from the proliferation of saddle points, not local minima, especially in high dimensional problems of practical interest. Such saddle points are surrounded by high error plateaus that can dramatically slow down learning, and give the illusory impression of the existence of a local minimum. Motivated by these arguments, we propose a new approach to second-order optimization, the saddle-free Newton method, that can rapidly escape high dimensional saddle points, unlike gradient descent and quasi-Newton methods. We apply this algorithm to deep or recurrent neural network training, and provide numerical evidence for its superior optimization performance.

研究动机与目标

• 挑战高维非凸优化中局部极小值为主要障碍的普遍观点。
• 证明在高维空间中，鞍点而非局部极小值是主要障碍，因其呈指数级增长。
• 开发一种二阶优化方法，通过以不同于传统拟牛顿法的方式利用曲率信息，高效逃离鞍点。
• 通过实证验证关于神经网络损失曲面中临界点指标与误差水平之间相关性的理论预测。
• 表明无鞍点牛顿法在深度和循环神经网络上的优化性能优于标准方法。

提出的方法

• 提出无鞍点牛顿法，通过使用逆海森矩阵的绝对值对梯度步长进行重标度，以逃离鞍点。
• 采用广义信赖域框架，根据曲率定义信赖域形状，而非对损失函数进行二阶近似。
• 采用数值技术搜索神经网络误差曲面中任意指标（负海森特征值比例）的临界点。
• 将该方法应用于训练深度和循环神经网络，在训练停滞时从SGD切换至无鞍点牛顿法。
• 在全海森矩阵计算不可行的高维设置中，使用截断Krylov子空间方法近似海森向量乘积。
• 采用信赖域方法，在远离鞍点时仍保持稳定性和效率。

实验结果

研究问题

• RQ1 在高维非凸优化问题中，鞍点是否比局部极小值更普遍？
• RQ2 高误差鞍点（具有大曲率平台）的存在是否显著减慢基于梯度的优化？
• RQ3 能否设计一种二阶优化方法，通过以不同于拟牛顿法的方式利用曲率信息，快速逃离鞍点？
• RQ4 在神经网络损失曲面中，临界点的指标（负海森特征值比例）与误差水平之间是否存在强正相关性？
• RQ5 无鞍点牛顿法是否在深度和循环神经网络中实现比标准优化算法更快的收敛速度和更好的泛化性能？

主要发现

• 在高维非凸优化中，鞍点比局部极小值呈指数级更普遍，尤其在高误差水平下。
• 高误差临界点几乎全是鞍点，负曲率方向的比例随误差增加而上升，与随机矩阵理论预测一致。
• 在MNIST数据集上，无鞍点牛顿法实现了0.57的测试误差，优于Hessian-Free方法此前达到的0.69。
• 在使用循环神经网络进行字符级语言建模时，从SGD切换至无鞍点牛顿法后，误差显著下降，表明成功逃离了鞍点附近的平台区域。
• 无鞍点牛顿法找到的解中负特征值数量少于SGD解，证实其能够有效逃离高误差鞍点区域。
• 带有阻尼的截断牛顿法在SGD停滞后未能提升性能，凸显了所提方法在穿越鞍点平台区域方面的优越性。