[論文レビュー] Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients

Sai Praneeth Karimireddy, Sebastian U. Stich+1 more|arXiv (Cornell University)|Jun 1, 2018

Sparse and Compressive Sensing Techniques参考文献 21被引用数 24

ひとこと要約

この論文は、強い凸性やリプシッツ連続勾配を仮定しない凸最適化におけるニュートン法のグローバル線形収束を確立する。代わりに、ロジスティック回帰など多くの非強い凸問題で成り立つ、新しい乗法的ヘッセ安定性条件を導入し、不正確なヘッセ近似や不正確な部分問題解に対しても、アフィン不変の線形収束を証明する。

ABSTRACT

We show that Newton's method converges globally at a linear rate for objective functions whose Hessians are stable. This class of problems includes many functions which are not strongly convex, such as logistic regression. Our linear convergence result is (i) affine-invariant, and holds even if an (ii) approximate Hessian is used, and if the subproblems are (iii) only solved approximately. Thus we theoretically demonstrate the superiority of Newton's method over first-order methods, which would only achieve a sublinear $O(1/t^2)$ rate under similar conditions.

研究の動機と目的

• 強い凸性やリプシッツ勾配を仮定しないより弱い仮定の下で、ニュートン法のグローバル収束を確立すること。
• 線形収束を保証する自然でアフィン不変な条 件—ヘッセ安定性—を特定すること。
• 類似した条件下で、1次順の方法よりも優れた収束速度を達成するニュートン法の性能を示すこと。
• 不正確なヘッセ近似や不正確な部分問題解に対しても収束保証を拡張すること。
• 信頼領域ニュートン法が局所的ヘッセ安定性の下で線形収束を達成することを示すこと。

提案手法

• 任意の点 x と y に対して、勾配の差のノルムと x におけるヘッセノルムの比が定数 c で有界である、乗法的ヘッセ安定性条件を導入する。
• すべての x, y がレベル集合に属する場合に、||∇f(x) - ∇f(y)||²_{∇²f(x)} ≤ c ||x - y||²_{∇²f(x)} が成り立つように、グローバル安定性パラメータ c を定義する。
• この安定性条件を用いて、ニュートン反復の収縮不等式を導出し、最適性ギャップが各反復で定数倍に減少することを示す。
• この安定性条件を用いて、ヘッセが近似されている場合や部分問題が近似的に解かれる場合の収束を証明する。
• ニュートン法の信頼領域バージョンを導入し、局所的安定性条件の下で線形収束を証明する。
• パrameterized部分問題を用いた二次モデル近似を用いて、関数の減少量を抑え、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性やリプシッツ連続勾配を仮定しない状況でも、ニュートン法がグローバル線形収束を達成できるか？
• RQ2 ヘッセにどのような自然な条件が、ニュートン法のグローバル線形収束を保証するか？
• RQ3 提案されたヘッセ安定性条件は、リプシッツヘッセや強い凸性といった標準的仮定と比べてどう異なるか？
• RQ4 不正確なヘッセや不正確な部分問題解を用いても、線形収束が維持されるか？
• RQ5 信頼領域ニュートン法は、局所的安定性条件の下で線形収束を達成できるか？

主な発見

• 強い凸性やリプシッツ勾配を仮定しない条件下でも、c-安定ヘッセの仮定のもとで、ニュートン法はグローバルに線形収束する。
• 収束速度はアフィン不変であり、安定性パラメータ c と部分問題解の精度にのみ依存する。
• 各反復における収束速度は (1 - Θ/(ησc(γ))) の形を取り、1次順の方法の O(1/t²) の速度よりも指数的に速い。
• 不正確さが定数倍以内に制限されていれば、不正確なヘッセや不正確な部分問題解に対しても線形収束が保たれる。
• 信頼領域ニュートン法も局所的安定性条件の下で線形収束を達成し、実用的実装への応用を拡張する。
• ロジスティック回帰やその他の非強い凸問題においてもヘッセ安定性条件が成り立つため、この結果は機械学習の広いクラスの目的関数に適用可能である。