[論文レビュー] Efficient approaches for escaping higher order saddle points in non-convex optimization

Anima Anandkumar, Rong Ge|arXiv (Cornell University)|Feb 18, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 49

ひとこと要約

本稿では、非凸最適化における第3階の局所的最小値に収束することを保証する最初の効率的アルゴリズムを提案する。第1・第2階の手法が失敗する退化したサドル点を脱出するために高階導関数を用いる。第4階の局所的最小値を求めることがNP困難であることを証明し、第3階を超える高階最適化の根本的限界を確立する。

ABSTRACT

Local search heuristics for non-convex optimizations are popular in applied machine learning. However, in general it is hard to guarantee that such algorithms even converge to a local minimum, due to the existence of complicated saddle point structures in high dimensions. Many functions have degenerate saddle points such that the first and second order derivatives cannot distinguish them with local optima. In this paper we use higher order derivatives to escape these saddle points: we design the first efficient algorithm guaranteed to converge to a third order local optimum (while existing techniques are at most second order). We also show that it is NP-hard to extend this further to finding fourth order local optima.

研究の動機と目的

• 第1・第2階の手法が特異ヘッシアンによって失敗する高次元非凸最適化における退化したサドル点の課題に対処する。
• 既存の第2階手法の制限を克服し、第3階の局所的最小値への収束を保証する効率的アルゴリズムを構築する。
• 高階導関数を用いて、点が第3階の局所的最小値である条件を同定する。
• 第4階の局所的最小値へのアプローチを拡張することは計算的に非現実的であることを示し、NP困難性を証明する。
• 対称的または過パラメータ化された構造を持つ非凸問題における高階最適性の理論的基盤を提供する。

提案手法

• 近傍の点 y に対して f(x) - f(y) ≤ o(||x - y||^p) を満たすことで、p 階の局所的最小値を定義し、高階最適性の形式的基準を確立する。
• 勾配、ヘッシアン、第3階導関数の情報を用いて退化したサドル点を脱出する新しいアルゴリズムを導入する。
• 第3階最適性への進行度を追跡するポテンシャル関数に基づく収束解析を設計し、多項式時間での収束を保証する。
• ハードネス還元のため、6次多項式 ||x||^6 を加える正則化技術を用いて、4次多項式を良好に振る舞う関数に変換する。
• 4次同次多項式の非負性問題を最適化問題に還元することで、第4階局所的最小値の探索がNP困難であることを証明する。
• 非負の4次多項式では原点が唯一の第4階局所的最小値であり、負定値の場合は非負値を持つような第4階局所的最小値が存在しないことを利用する。

実験結果

リサーチクエスチョン

• RQ1 第1・第2階の手法が失敗する退化したサドル点を脱出するために、高階導関数を用いた効率的アルゴリズムを設計できるか？
• RQ2 非凸最適化における第4階局所的最小値の探索の計算複雑性は何か？
• RQ3 臨界点が第3階局所的最小値であるための条件は何か？ そして、これをアルゴリズム的に同定できるか？
• RQ4 第3階最適性が局所的最小値への収束に必要かつ十分となるような、自然な非凸関数のクラスは存在するか？
• RQ5 既知のNP困難問題からの還元を用いて、高階最適化の困難性を形式的に確立できるか？

主な発見

• 提案されたアルゴリズムは、多項式時間内で第3階の局所的最小値に収束することが保証され、退化したサドル点からの明示的脱出メカニズムを提供する。
• アルゴリズムは、勾配が小さいこと、ヘッシアンがほぼ半正定値であること、第3階導関数が有界であることといった、第3階局所的最適性の必要十分条件を近似的に満たす点を効率的に同定する。
• 第4階局所的最小値を求めることが、有界な導関数と単位球内にグローバル最小値を有する良好な関数に対してもNP困難であることが証明された。
• NP困難性の結果は、4次同次多項式の非負性問題への還元により確立され、これはもともとNP困難であることが知られている。
• 4次多項式が非負であれば、原点が唯一の第4階局所的最小値である。一方、ある方向で負であれば、すべての第4階局所的最小値は負の関数値を持つ必要がある。
• 結果として、第3階最適性は効率的に達成可能であるが、第4階以降の高階最適性は一般には非効率的であるという根本的な計算的障壁が示された。