[论文解读] Finding Approximate Local Minima for Nonconvex Optimization in Linear Time.

Naman Agarwal, Zeyuan Allen Zhu+3 more|arXiv (Cornell University)|Nov 3, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用 39

一句话总结

本文提出了一种新颖的非凸二阶优化算法，能够在与输入大小成线性关系的时间内找到近似局部最小值，其速度优于梯度下降法。该算法适用于一般的非凸问题，如神经网络训练，为达到局部最小值提供了一种可证明高效的解决方案。

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which is linear in the input representation. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

研究动机与目标

• 开发一种优化算法，确保在非凸问题中以线性时间收敛到近似局部最小值。
• 克服现有二阶方法在非凸设置下的计算低效问题。
• 提供一种可证明高效的梯度下降替代方案，因为梯度下降仅能找到临界点。
• 将实际适用性扩展到现实世界机器学习任务，如神经网络训练。

提出的方法

• 该算法采用专为非凸目标设计的二阶优化框架。
• 它利用基于海森矩阵的曲率信息，以高效方式逃离鞍点并收敛到局部最小值。
• 该方法确保收敛时间与输入表示大小成线性关系。
• 它使用由局部曲率决定的自适应步长，以加速收敛。
• 该算法被设计用于处理一般非凸函数，包括深度学习中的函数。

实验结果

研究问题

• RQ1 能否设计一种二阶优化方法，在非凸问题中以线性时间找到近似局部最小值？
• RQ2 与梯度下降法相比，该算法在达到临界点时的运行时间如何？
• RQ3 该方法在多种非凸机器学习目标上是否保持高效性与收敛性保证？
• RQ4 该算法能否在不带来高计算成本的前提下，有效应用于神经网络训练？

主要发现

• 该算法保证在输入大小线性的时间内收敛到近似局部最小值。
• 其收敛速度优于仅能找到临界点的梯度下降法。
• 该方法适用于广泛的非凸优化问题，包括神经网络训练。
• 理论分析证实，该问题类别的时间复杂度是最优的。