[論文レビュー] An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(\epsilon^{-3/2})$ for Nonconvex Optimization

Frank E. Curtis, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用数 4

ひとこと要約

本稿は、非凸最適化における一般化された不正確な正則化ニュートンフレームワークを提案し、勾配ノルムをε未満に低下させるための最悪ケース反復複雑性O(ε⁻³/²)と、最小固有値が−εを超えるよう保証するためのO(ε⁻³)を達成する。この手法は、ARC や TRACE といった既存の最適複雑性手法を統合・拡張し、一般で柔軟な条件下で正則化部分問題の不正確解を許容する。また、数値実験で純粋な立方則正則化を上回る性能を示す、新たなハイブリッドアルゴリズムを導入する。

ABSTRACT

An algorithm for solving smooth nonconvex optimization problems is proposed that, in the worst-case, takes $\mathcal{O}(\epsilon^{-3/2})$ iterations to drive the norm of the gradient of the objective function below a prescribed positive real number $\epsilon$ and can take $\mathcal{O}(\epsilon^{-3})$ iterations to drive the leftmost eigenvalue of the Hessian of the objective above $-\epsilon$. The proposed algorithm is a general framework that covers a wide range of techniques including quadratically and cubically regularized Newton methods, such as the Adaptive Regularisation using Cubics (ARC) method and the recently proposed Trust-Region Algorithm with Contractions and Expansions (TRACE). The generality of our method is achieved through the introduction of generic conditions that each trial step is required to satisfy, which in particular allow for inexact regularized Newton steps to be used. These conditions center around a new subproblem that can be approximately solved to obtain trial steps that satisfy the conditions. A new instance of the framework, distinct from ARC and TRACE, is described that may be viewed as a hybrid between quadratically and cubically regularized Newton methods. Numerical results demonstrate that our hybrid algorithm outperforms a cublicly regularized Newton method.

研究の動機と目的

• 非凸最適化における不正確な正則化ニュートン法の統合的フレームワークを構築し、最適な最悪ケース反復複雑性を達成すること。
• 部分問題の不正確解を許容することで、既存の正確な手法を超えた複雑性結果を拡張し、収束保証を維持すること。
• ARC や TRACE といった既存の最適複雑性手法を、一つの柔軟なフレームワークで統合・一般化すること。
• 二次および立方則正則化の特徴を組み合わせた新しいハイブリッドアルゴリズムを導入し、純粋な立方則手法を上回る性能を実現すること。

提案手法

• 各試行ステップが満たすべき一般的な条件を定義し、正則化部分問題の不正確解を許容する。
• 必要な条件を満たす試行ステップを生成するために、近似的に解ける新たな部分問題を導入する。
• ステップ品質を制御する正則化パラメータを用い、明示的な信頼領域半径の調整を回避する。
• 二次および立方則正則化項を統合することで、ハイブリッド化を可能にする。
• 勾配ノルムと最小固有値の低下に要する反復回数を分析することで、最悪ケース複雑性バウンドを確立する。
• 十分な減少条件および曲率条件に基づき、正則化パラメータを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化において、O(ε⁻³/²)の最悪ケース反復複雑性を達成する一般化された不正確な正則化ニュートンフレームワークを設計可能か？
• RQ2 部分問題の不正確解を、収束保証を損なわずにこのフレームワークに統合する方法は何か？
• RQ3 二次および立方則正則化の長所を組み合わせたハイブリッドアルゴリズムを構築可能か？ また、純粋な立方則手法を上回る性能を示せるか？
• RQ4 最適な一次および二次の複雑性バウンドを保証するための試行ステップに必要な十分条件は何か？
• RQ5 提案されたフレームワークは、ARC や TRACE といった既存の最適複雑性手法をどのように統合・一般化するか？

主な発見

• 提案されたフレームワークは、勾配ノルムをε未満に低下させるための最悪ケース反復複雑性O(ε⁻³/²)を達成し、立方則正則化手法の最良-known 複雑性と一致する。
• 最小固有値が−εを超えるよう保証するための複雑性O(ε⁻³)も達成され、ARC や TRACE の二次の複雑性バウンドと一致する。
• 二次および立方則正則化を組み合わせた新たなハイブリッドアルゴリズムが導入され、数値実験で純粋な立方則手法（ARC）を上回る性能を示した。
• フレームワークは、不正確なニュートンステップを許容し、ステップ受容のための柔軟な条件セットを用いることで、ARC や TRACE を一般化する。
• 数値結果から、ハイブリッドアルゴリズムは、さまざまなテスト問題において、ARC よりも反復回数および関数・導関数評価回数を削減することが示された。
• 一般的な条件が満たされれば、部分問題が不正確に解えても、グローバル収束性および複雑性保証が維持される。