[论文解读] Finding Approximate Local Minima Faster than Gradient Descent

Naman Agarwal, Zeyuan Allen-Zhu+3 more|arXiv (Cornell University)|Nov 3, 2016

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文提出 FastCubic，一种新颖的非凸二阶优化算法，可在维度和训练样本规模上线性时间内找到 ε-近似局部极小值。该算法通过利用 Hessian-向量乘积和加速子程序，实现了比梯度下降更快的收敛速度，即使对于寻找临界点这一较弱目标亦然。该算法在平滑非凸问题（包括深度神经网络训练）中实现了可证明最优的运行时间。

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which scales linearly in the underlying dimension and the number of training examples. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

研究动机与目标

• 设计一种可证明高效的算法，用于在非凸优化中寻找近似局部极小值，这是现代机器学习中的核心挑战。
• 克服梯度下降等一阶方法在临界点识别中面临的 1/ε² 收敛瓶颈。
• 即使仅寻求临界点而非局部极小值，也能实现比梯度下降更快的运行时间。
• 提供一种通用算法，适用于标准机器学习目标，包括深度神经网络训练。
• 建立理论运行时间边界，使其在二阶平滑函数下与维度和样本规模呈线性关系。

提出的方法

• 该算法 FastCubic 采用带 Hessian-向量乘积的立方正则化框架，以高效近似牛顿步长。
• 采用基于 Nesterov 风格加速的加速子问题求解器，以在每次迭代中最小化立方模型。
• 使用二分查找过程计算正确的正则化参数，以确保立方模型的充分下降。
• 通过幂方法和移位-逆变换技术，近似计算特征向量，以检测负曲率。
• 对于许多机器学习问题，Hessian-向量乘积的计算时间为 O(d)，从而实现与维度和样本规模的线性依赖。
• 通过预处理迭代求解器实现近似矩阵求逆，其运行时间受求解线性系统成本的限制。

实验结果

研究问题

• RQ1 我们能否设计一种二阶优化算法，使其在寻找近似局部极小值方面比梯度下降更快？
• RQ2 在标准平滑性假设下，能否实现在维度和样本规模上线性时间的非凸优化收敛？
• RQ3 当仅寻求临界点而非局部极小值时，二阶方法是否仍能优于一阶方法？
• RQ4 在非凸设置下，寻找近似局部极小值时，精度 ε 与运行时间之间的最优权衡是什么？
• RQ5 如何在大规模机器学习问题（如深度学习）中高效利用 Hessian-向量乘积？

主要发现

• 对于有限和问题，FastCubic 在 Õ(nd/ε³ᐟ² + n³ᐟ⁴d/ε⁷ᐟ⁴) 时间内找到 ε-近似局部极小值，优于梯度下降在临界点识别中的 O(nd/ε²) 时间。
• 对于一般非凸问题，运行时间为 Õ(1/ε⁷ᐟ⁴ · Th)，其中 Th 为计算 Hessian-向量乘积的时间。
• 该算法在寻找临界点方面实现了所有先前方法中最快的收敛速率，突破了一阶方法的 1/ε² 障碍。
• 在神经网络训练中，FastCubic 的运行时间为 Õ(nd/ε³ᐟ² + n³ᐟ⁴d/ε⁷ᐟ⁴)，且 Hessian-向量乘积可在 O(d) 时间内计算。
• 该方法保证了近似局部极小值的梯度和 Hessian 条件：‖∇f(x)‖ ≤ ε 且 ∇²f(x) ⪰ −√εI。
• 理论分析表明，该算法的运行时间主要由求解线性系统决定，矩阵求逆和特征向量近似成本通过预处理迭代方法得到有界。