[論文レビュー] Cubic Regularization with Momentum for Nonconvex Optimization

Zhe Wang, Yi Zhou+2 more|arXiv (Cornell University)|Oct 9, 2018

Sparse and Compressive Sensing Techniques参考文献 33被引用数 9

ひとこと要約

本稿では、非凸最適化における2次停留点への最適収束速度を達成する、モーメンタムを組み込んだ立方体正則化ニュートン法であるCRmを提案する。モーメンタムを立方体正則化フレームワークに統合することで、実際の収束を加速し、誤差バインディング条件のもとで局所的2次収束を達成する。実験では、ネステロフの加速法を上回る性能を示した。

ABSTRACT

Momentum is a popular technique to accelerate the convergence in practical training, and its impact on convergence guarantee has been well-studied for first-order algorithms. However, such a successful acceleration technique has not yet been proposed for second-order algorithms in nonconvex optimization.In this paper, we apply the momentum scheme to cubic regularized (CR) Newton's method and explore the potential for acceleration. Our numerical experiments on various nonconvex optimization problems demonstrate that the momentum scheme can substantially facilitate the convergence of cubic regularization, and perform even better than the Nesterov's acceleration scheme for CR. Theoretically, we prove that CR under momentum achieves the best possible convergence rate to a second-order stationary point for nonconvex optimization. Moreover, we study the proposed algorithm for solving problems satisfying an error bound condition and establish a local quadratic convergence rate. Then, particularly for finite-sum problems, we show that the proposed algorithm can allow computational inexactness that reduces the overall sample complexity without degrading the convergence rate.

研究の動機と目的

• 非凸最適化における立方体正則化（CR）ニュートン法に、モーメンタムベースの加速スキームを設計すること。
• 提案手法の2次停留点への理論的収束保証を確立すること。
• 既存のCRおよびネステロフの加速スキームと比較して、実用的収束が向上することを示すこと。
• ヘッセ行列の誤差バインディング条件の下での局所収束を分析し、計算の不正確さがあっても収束速度が低下しないようにすること。

提案手法

• 収束を加速するためにモーメンタムステップを組み込んだ、立方体正則化の変種であるCRmを導入する。
• 3段階の更新ステップを採用：立方体部分問題の解法、モーメンタム更新、グローバル収束を保証する単調ラインサーチ。
• 目的関数の十分な減少を保証するために、単調性条件を満たすバックトラッキングラインサーチを採用する。
• 反復点および勾配・ヘッセ行列のノルムの振る舞いを分析することで、理論的収束速度を導出する。
• ヘッセ行列に誤差バインディング条件が成り立つ場合、局所的2次収束を確立する。
• 不正確なヘッセ行列および勾配計算の分析を行い、有限和問題においてもサンプル複雑度が低減されるが、収束速度は損なわれないことを示す。

実験結果

リサーチクエスチョン

• RQ1 モーメンタムは、非凸最適化における立方体正則化にうまく統合可能であり、収束を加速できるか？
• RQ2 提案されたモーメンタム-CR法は、2次停留点への最良の既知の収束速度を達成するか？
• RQ3 計算の不正確さ、特に有限和問題の文脈において、アルゴリズムはどのように動作するか？
• RQ4 モーメンタムスキームは、実用的な非凸設定においてネステロフの加速法を上回るか？
• RQ5 誤差バインディング条件の下で、モーメンタム-CR法の局所収束速度はどの程度か？

主な発見

• CRmは、2次停留点への最適収束速度O(1/k^{3/2})を達成し、非凸最適化における最良の既知のレートと一致する。
• 数値実験では、標準的なCRおよびネステロフの加速法と比較して、特に初期反復において顕著に高速な収束を示した。
• 誤差バインディング条件が成り立つ場合、CRmは局所的2次収束を示し、最適解付近での高速な局所的挙動を示した。
• 有限和問題においては、CRmは不正確なヘッセ行列および勾配計算を許容でき、サンプル複雑度が低減されるが、収束速度はそのままである。
• 理論的分析により、モーメンタムスキームが収束保証を損なわず、2次停留点へのグローバル収束を保証することが確認された。
• アルゴリズムは有界な反復点を維持し、勾配ノルムとヘッセ行列の最小固有値の両方が2次停留点条件を満たす点に収束することが保証された。