[論文レビュー] First-order Stochastic Algorithms for Escaping From Saddle Points in Almost Linear Time

Yi Xu, Rong Jin+1 more|arXiv (Cornell University)|Nov 3, 2017

Sparse and Compressive Sensing Techniques被引用数 58

ひとこと要約

本論文は NEON を導入する。ヒessian から負の曲率を抽出する一階確率的手続きであり、鞍点からほぼ線形時間で脱出し、確率的にほぼ二階局所停留点を見つけることを可能にする。

ABSTRACT

Two classes of methods have been proposed for escaping from saddle points with one using the second-order information carried by the Hessian and the other adding the noise into the first-order information. The existing analysis for algorithms using noise in the first-order information is quite involved and hides the essence of added noise, which hinder further improvements of these algorithms. In this paper, we present a novel perspective of noise-adding technique, i.e., adding the noise into the first-order information can help extract the negative curvature from the Hessian matrix, and provide a formal reasoning of this perspective by analyzing a simple first-order procedure. More importantly, the proposed procedure enables one to design purely first-order stochastic algorithms for escaping from non-degenerate saddle points with a much better time complexity (almost linear time in terms of the problem's dimensionality). In particular, we develop a {\\bf first-order stochastic algorithm} based on our new technique and an existing algorithm that only converges to a first-order stationary point to enjoy a time complexity of {$\\widetilde O(d/\\epsilon^{3.5})$ for finding a nearly second-order stationary point $\\bf{x}$ such that $\\|\ abla F(bf{x})\\|\\leq \\epsilon$ and $\ abla^2 F(bf{x})\\geq -\\sqrt{\\epsilon}I$ (in high probability), where $F(\\cdot)$ denotes the objective function and $d$ is the dimensionality of the problem. To the best of our knowledge, this is the best theoretical result of first-order algorithms for stochastic non-convex optimization, which is even competitive with if not better than existing stochastic algorithms hinging on the second-order information.

研究の動機と目的

• 確率的非凸最適化問題を動機づけ、対処する。
• ノイズ由来の負の曲率起源（NEON）を用いて非退化鞍点から抜け出す一階手続を開発する。
• 一階情報を用いて二階収束保証を提供する枠組み。
• 問題次元に対してほぼ線形時間計算量で、ほぼ二階局所停留点を見つけることを達成する。

提案手法

• NEON: ノイズから開始してHessianから負の曲率を抽出する手続きを導入する。
• NEON を一般的な一階確率的アルゴリズムフレームワークに統合する。
• ほぼ二階局所停留点を見つけるための二階収束保証を証明する。
• 時間計算量の結果を導出し、問題次元へのほぼ線形依存を示す。
• 多くの成分を持つ有限和設定とのフレームワークの関連性を示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズにより自然に生じる負の曲率を活用することで、一次確率的手法は鞍点から効率的に脱出できるか？
• RQ2 確率的非凸最適化において一階情報を用いてほぼ二階局所停留点を見つけるための時間計算量はどれくらいか？
• RQ3 NEONを一般的なSGD型アルゴリズムに組み込んで高確率の二階収束を保証するにはどうするか？
• RQ4 全体アルゴリズムの実行時間を次元に対してどれだけ線形に近づけることができるか？
• RQ5 提案手法は期待値形問題と大規模有限和問題の両方に適用できるか？

主な発見

• ノイズベースの列を用いてHessianから負の曲率を抽出するNEONを提案する。
• 純粋な一階確率的手法で二階収束保証を達成するフレームワークを開発する。
• 高確率で ∥∇F(x)∥ ≤ ε および ∇^2F(x) ≥ −√ε I を満たす点を見つけるための最良の時間計算量は ~O(d/ε^{3.5}) である。
• 鞍点からの脱出において問題次元に対してほぼ線形時間であることを示す。
• 一階確率的アルゴリズムは、二階情報を使用する手法と競合するほぼ二階局所停留点を達成する。