[论文解读] Complexity aspects of local minima and related notions

Amir Ali Ahmadi, Jeffrey Zhang|arXiv (Cornell University)|Aug 14, 2020

Polynomial and algebraic computation参考文献 26被引用 4

一句话总结

本文研究了在多元多项式中识别临界点、二阶点、局部极小点和严格局部极小点的计算复杂性，重点关注三次多项式。本文提出了一个可高效验证的局部极小性充要条件，并表明三次多项式的局部极小点可通过变量数量线性规模的半定规划（SDP）求解；而判断三次多项式中是否存在临界点的问题则是强 NP-难问题。

ABSTRACT

We consider the notions of (i) critical points, (ii) second-order points, (iii) local minima, and (iv) strict local minima for multivariate polynomials. For each type of point, and as a function of the degree of the polynomial, we study the complexity of deciding (1) if a given point is of that type, and (2) if a polynomial has a point of that type. Our results characterize the complexity of these two questions for all degrees left open by prior literature. Our main contributions reveal that many of these questions turn out to be tractable for cubic polynomials. In particular, we present an efficiently-checkable necessary and sufficient condition for local minimality of a point for a cubic polynomial. We also show that a local minimum of a cubic polynomial can be efficiently found by solving semidefinite programs of size linear in the number of variables. By contrast, we show that it is strongly NP-hard to decide if a cubic polynomial has a critical point. We also prove that the set of second-order points of any cubic polynomial is a spectrahedron, and conversely that any spectrahedron is the projection of the set of second-order points of a cubic polynomial. In our final section, we briefly present a potential application of finding local minima of cubic polynomials to the design of a third-order Newton method.

研究动机与目标

• 表征判断给定点是否为多元多项式中临界点、二阶点、局部极小点或严格局部极小点的计算复杂性。
• 研究判断多项式是否存在某种类型点（例如局部极小点）的复杂性。
• 识别可解情形，特别是对于三次多项式，尽管在一般情况下问题难以求解，但可设计高效算法。
• 探索算法应用，例如利用三次近似局部极小点设计三阶牛顿方法。
• 建立多项式优化与半定域（spectrahedra）之间的联系，表明三次多项式的二阶点构成半定域，反之亦然。

提出的方法

• 采用图灵计算模型，输入规模通过有理系数和点坐标的比特长度来衡量。
• 应用半定规划（SDP）高效求解三次多项式的局部极小点，SDP 规模与变量数量呈线性关系。
• 提出一个可高效验证的、关于三次多项式某点为局部极小点的必要且充分条件。
• 证明任意三次多项式的二阶点集合是一个半定域，且任一半定域均可表示为该类集合的投影。
• 分析函数的三阶泰勒近似，设计一种潜在的三阶牛顿方法，该方法移动至三次近似的局部极小点。
• 通过数值实验与对比（例如与经典牛顿法对比）展示所提三阶方法在收敛性上的优势。

实验结果

研究问题

• RQ1 验证给定点是否为多元多项式局部极小点的计算复杂性是什么？
• RQ2 能否高效判断多项式是否存在局部极小点？若能，适用于哪些次数？
• RQ3 是否存在对三次多项式局部极小性的可解表征？
• RQ4 判断三次多项式是否存在临界点的复杂性是什么？
• RQ5 能否利用凸优化技术（如半定规划）高效计算三次多项式的局部极小点？

主要发现

• 对于三次多项式，存在一个可高效验证的、关于某点为局部极小点的必要且充分条件。
• 通过求解规模与变量数量线性相关的半定规划，可找到三次多项式的局部极小点。
• 判断三次多项式是否存在临界点的问题是强 NP-难问题。
• 任意三次多项式的二阶点集合是一个半定域，且任一半定域均可表示为该类集合的投影。
• 数值实验表明，一种三阶牛顿方法（移动至三阶泰勒近似的局部极小点）表现出全局收敛性，并且对初始条件的敏感性低于经典牛顿法。
• 在一元测试情形下，三阶方法能全局收敛至最小值，而经典牛顿法在有界区间外的初始点上会出现振荡。