[论文解读] Efficient approaches for escaping higher order saddle points in non-convex optimization

Anima Anandkumar, Rong Ge|arXiv (Cornell University)|Feb 18, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 49

一句话总结

本文提出了首个在非凸优化中保证收敛至三阶局部极小点的高效算法，利用高阶导数逃逸一、二阶方法失效的退化鞍点。证明了寻找四阶局部极小点是NP难问题，确立了超越三阶的高阶优化的根本限制。

ABSTRACT

Local search heuristics for non-convex optimizations are popular in applied machine learning. However, in general it is hard to guarantee that such algorithms even converge to a local minimum, due to the existence of complicated saddle point structures in high dimensions. Many functions have degenerate saddle points such that the first and second order derivatives cannot distinguish them with local optima. In this paper we use higher order derivatives to escape these saddle points: we design the first efficient algorithm guaranteed to converge to a third order local optimum (while existing techniques are at most second order). We also show that it is NP-hard to extend this further to finding fourth order local optima.

研究动机与目标

• 解决高维非凸优化中退化鞍点的挑战，其中一、二阶方法因Hessian矩阵奇异而失效。
• 设计一种高效算法，保证收敛至三阶局部极小点，克服现有二阶方法的局限性。
• 利用高阶导数刻画三阶局部极小点的条件。
• 通过证明NP难性，表明将方法扩展至四阶局部极小点在计算上不可行。
• 为具有对称性或过参数化结构的非凸问题提供高阶最优性的理论基础。

提出的方法

• 通过条件 f(x) - f(y) ≤ o(||x - y||^p) 定义 p 阶局部极小点，建立高阶最优性的正式准则。
• 提出一种新算法，利用梯度、Hessian矩阵和三阶导数信息以逃逸退化鞍点。
• 设计基于势函数的收敛性分析，追踪向三阶最优性的进展，确保多项式时间收敛。
• 通过添加六次项 ||x||^6 实现正则化，将四次多项式转化为具有良好行为的函数，用于硬度归约。
• 通过将四次齐次多项式非负性问题归约至优化问题，证明寻找四阶局部极小点的NP难性。
• 利用如下事实：非负四次多项式仅在原点处有唯一的四阶局部极小点，而负定多项式则不存在非负值的四阶局部极小点。

实验结果

研究问题

• RQ1 能否利用高阶导数设计一种高效算法，以逃逸一、二阶方法失效的退化鞍点？
• RQ2 在非凸优化中，寻找四阶局部极小点的计算复杂度是什么？
• RQ3 临界点为三阶局部极小点的条件是什么？能否以算法方式刻画？
• RQ4 是否存在自然的非凸函数类，使得三阶最优性既是必要条件也是充分条件，以保证收敛至局部极小点？
• RQ5 能否通过从已知的NP难问题归约，正式建立高阶优化的困难性？

主要发现

• 所提算法保证在多项式时间内收敛至三阶局部极小点，为退化鞍点提供了可证明的逃逸机制。
• 该算法高效识别出近似满足三阶局部最优性必要与充分条件的点，包括小梯度、近似半正定Hessian矩阵以及有界的三阶导数。
• 已证明寻找四阶局部极小点是NP难问题，即使对于导数有界且全局极小点位于单位球内的良好函数也是如此。
• NP难性结果通过从四次齐次多项式非负性问题归约得出，而该问题本身已知为NP难。
• 当四次多项式非负时，原点是唯一的四阶局部极小点；若在某方向为负，则所有四阶局部极小点的函数值必为负。
• 结果表明存在根本性的计算障碍：虽然三阶最优性可高效实现，但更高阶最优性（四阶及以上）在一般情况下是不可解的。