[论文解读] Finding Local Minima for Nonconvex Optimization in Linear Time

Naman Agarwal, Zeyuan Allen-Zhu+3 more|arXiv (Cornell University)|Nov 3, 2016

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出了一种非凸二阶优化算法，其在问题维度和训练样本数量上均实现线性时间复杂度，可快速找到近似局部最小值。该算法在收敛速度上优于梯度下降法，且可广泛应用于机器学习问题，如神经网络训练。

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which scales linearly in the underlying dimension and the number of training examples. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

研究动机与目标

• 开发一种高效寻找非凸问题中近似局部最小值的优化算法，此类问题在机器学习中普遍存在。
• 在参数数量和训练样本数量上均实现线性时间复杂度。
• 在达到临界点的收敛速度上优于梯度下降法。
• 为一般非凸目标函数的近似局部最小值收敛提供理论保证。
• 将适用范围扩展至复杂模型，如神经网络。

提出的方法

• 该算法采用二阶优化技术，相较于一阶方法，能更有效地在非凸景观中导航。
• 利用曲率信息加速向局部最小值的收敛过程。
• 该方法被设计为与参数空间维度和训练样本数量呈线性可扩展性。
• 在一般非凸条件下，可保证收敛至近似局部最小值。
• 该算法被构型为可处理广泛的机器学习目标函数，包括神经网络训练。
• 通过利用二阶信息，其收敛速度优于仅保证收敛至临界点的梯度下降法。

实验结果

研究问题

• RQ1 能否设计一种二阶优化算法，在非凸问题中以线性时间复杂度找到近似局部最小值？
• RQ2 该算法在收敛速度上与梯度下降法相比，达到临界点的速度如何？
• RQ3 该方法在问题维度和训练集规模上是否保持线性可扩展性？
• RQ4 该算法能否有效应用于机器学习中的一般非凸目标函数，如神经网络训练？
• RQ5 使用该方法时，能否为收敛至近似局部最小值提供理论保证？

主要发现

• 该算法在参数数量和训练样本数量上均呈线性时间复杂度，可找到近似局部最小值。
• 其收敛速度优于梯度下降法，后者仅能保证收敛至临界点。
• 该方法适用于广义的非凸优化问题类别，包括神经网络训练。
• 该算法为收敛至近似局部最小值提供了理论保证。
• 与标准梯度下降法相比，其时间复杂度表现更优。
• 该方法在大规模机器学习问题中具备可扩展性和高效性。