[論文レビュー] Complexity aspects of local minima and related notions

Amir Ali Ahmadi, Jeffrey Zhang|arXiv (Cornell University)|Aug 14, 2020

Polynomial and algebraic computation参考文献 26被引用数 4

ひとこと要約

本稿は、多変数多項式、特に3次多項式における臨界点、2次の点、局所的最小値、厳密な局所的最小値を特定する計算の複雑さを調査する。局所的最小値であるための効率的に検証可能な条件を提示し、3次多項式の局所的最小値が変数の数に線形に比例するサイズの半定値計画（SDP）によって効率的に見つけられることを示している。一方、3次多項式における臨界点の存在を決定することは強いNP困難である。

ABSTRACT

We consider the notions of (i) critical points, (ii) second-order points, (iii) local minima, and (iv) strict local minima for multivariate polynomials. For each type of point, and as a function of the degree of the polynomial, we study the complexity of deciding (1) if a given point is of that type, and (2) if a polynomial has a point of that type. Our results characterize the complexity of these two questions for all degrees left open by prior literature. Our main contributions reveal that many of these questions turn out to be tractable for cubic polynomials. In particular, we present an efficiently-checkable necessary and sufficient condition for local minimality of a point for a cubic polynomial. We also show that a local minimum of a cubic polynomial can be efficiently found by solving semidefinite programs of size linear in the number of variables. By contrast, we show that it is strongly NP-hard to decide if a cubic polynomial has a critical point. We also prove that the set of second-order points of any cubic polynomial is a spectrahedron, and conversely that any spectrahedron is the projection of the set of second-order points of a cubic polynomial. In our final section, we briefly present a potential application of finding local minima of cubic polynomials to the design of a third-order Newton method.

研究の動機と目的

• 与えられた点が多変数多項式における臨界点、2次の点、局所的最小値、または厳密な局所的最小値であるかどうかを特定する計算の複雑さを特徴づけること。
• 多項式が特定のタイプの点（例：局所的最小値の存在）をもつかどうかを決定する問題の複雑さを研究すること。
• 一般には扱いにくいが、特に3次多項式においては効率的なアルゴリズムが可能となる、取り扱いやすいケースを同定すること。
• 局所的最小値の3次近似を用いた第3階級のニュートン法の設計といった、アルゴリズム的応用を探索すること。
• 多項式最適化とスペクトラヒードロンの間の関係を確立し、3次多項式の2次の点がスペクトラヒードロンをなすこと、逆に任意のスペクトラヒードロンがそのような点集合の射影として得られることを示すこと。

提案手法

• 入力サイズを有理数係数および点の座標のビット長さで測定するチューリング計算モデルを用いる。
• 3次多項式の局所的最小値を効率的に見つけるために、変数の数に線形に比例するサイズの半定値計画（SDP）を適用する。
• 3次多項式の点が局所的最小値であるための必要十分条件を、効率的に検証可能な形で開発する。
• 任意の3次多項式の2次の点の集合がスペクトラヒードロンであることを証明し、逆に任意のスペクトラヒードロンがそのような集合の射影として得られることを示す。
• 関数の第3階級テイラー近似を分析し、3次近似の局所的最小値に移動する可能性のある第3階級のニュートン法を設計する。
• 数値実験および比較（例：古典的ニュートン法との比較）を用いて、提案された第3階級法の収束優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 与えられた点が多変数多項式の局所的最小値であるかどうかを検証する計算の複雑さは何か？
• RQ2 多項式に局所的最小値が存在するかどうかを効率的に決定できるか。もし可能なら、どの次数に対して成立するか？
• RQ3 3次多項式における局所的最小値の特徴づけは、取り扱いやすい形で可能か？
• RQ4 3次多項式が臨界点をもつかどうかを決定する問題の複雑さは何か？
• RQ5 3次多項式の局所的最小値は、半定値計画法などの凸最適化手法を用いて効率的に計算可能か？

主な発見

• 3次多項式において、点が局所的最小値であるかどうかを効率的に検証可能な必要十分条件が存在する。
• 3次多項式の局所的最小値は、変数の数に線形に比例するサイズの半定値計画（SDP）を解くことで効率的に見つけられる。
• 3次多項式が臨界点をもつかどうかを決定することは強いNP困難である。
• 任意の3次多項式の2次の点の集合はスペクトラヒードロンであり、逆に任意のスペクトラヒードロンがそのような集合の射影として得られる。
• 数値実験により、第3階級テイラー近似の局所的最小値に移動する第3階級ニュートン法が、古典的ニュートン法よりもグローバル収束性に優れ、初期条件に敏感でないことが示された。
• 1変数のテストケースでは、第3階級法は最小値にグローバルに収束するが、古典的ニュートン法は有界な区間の外側の初期点では振動する。