[論文レビュー] Newton-MR: Newton's Method Without Smoothness or Convexity

Fred Roosta, Yang Liu+2 more|arXiv (Cornell University)|Sep 30, 2018

Advanced Optimization Algorithms Research参考文献 84被引用数 22

ひとこと要約

Newton-MR は、凸性や勾配・ヘッセ行列のリプシッツ連続性を仮定せず、invex 問題においてグローバル収束を達成する修正ニュートン・コレスキー法である。弱い連合正則性条件を導入し、単純な最小二乗法の部分問題を解くことで、最小値の集合へのグローバル収束を保証し、ニュートン・コレスキー法の局所的収束性を非孤立最小値へ一般化する。

ABSTRACT

Establishing global convergence of Newton-CG has long been limited to making strong convexity assumptions. Hence, many Newton-type variants have been proposed which aim at extending Newton-CG beyond strongly convex problems. However, the analysis of almost all these non-convex methods commonly relies on the Lipschitz continuity assumptions of the gradient and Hessian. Furthermore, the sub-problems of many of these methods are themselves non-trivial optimization problems. Here, we show that two simple modifications of Newton-CG result in an algorithm, called Newton-MR, which offers a diverse range of algorithmic and theoretical advantages. Newton-MR can be applied, beyond the traditional convex settings, to invex problems. Sub-problems of Newton-MR are simple ordinary least squares. Furthermore, by introducing a weaker notion of joint regularity of Hessian and gradient, we establish the global convergence of Newton-MR even in the absence of the usual smoothness assumptions. We also obtain Newton-MR's local convergence guarantee that generalizes that of Newton-CG. Specifically, unlike the local convergence analysis of Newton-CG, which relies on the notion of isolated minimum, our analysis amounts to local convergence to the set of minima.

研究の動機と目的

• 非凸設定におけるニュートン・コレスキー法の限界を克服し、通常は強い凸性や滑らかさの仮定に依存するグローバル収束を実現すること。
• 勾配およびヘッセ行列のリプシッツ連続性に依存しないニュートン型手法の収束解析を実現すること。
• 計算的に単純な部分問題（特に通常の最小二乗問題）を設計し、実用的応用性を向上させること。
• ヘッセ行列と勾配の弱い連合正則性条件のもとでグローバル収束を確立し、滑らかで凸でない問題へも適用可能にする。
• 局所的収束保証を一般化し、孤立した最小値に限定されない最小値の集合への収束を示すこと。

提案手法

• 勾配とヘッセ行列の弱い連合正則性条件を導入し、標準的な滑らかさ仮定に代える。
• 線分探索戦略を導入することでニュートン・コレスキー法を修正し、勾配・ヘッセ行列のリプシッツ連続性を仮定せず、目的関数の十分な減少を保証する。
• 部分問題をトレントケートド・コンジュゲート・グラディエント法で解き、部分問題が標準的な最小二乗系に還元されることを確認する。
• 信頼領域に類似したステップ選択メカニズムを用い、強い凸性がなくてもグローバル収束を保証する。
• 下降性と最小値の集合への進行性の観点からアルゴリズムの振る舞いを解析し、孤立した臨界点のみに注目するのではなく、最小値の集合全体への収束を確立する。
• 局所的収束解析を一般化し、孤立した最小値に限定されない最小値の集合への収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強い凸性やヘッセ行列・勾配のリプシッツ連続性を仮定せず、非凸問題においてニュートン・コレスキー法がグローバル収束可能か？
• RQ2 ニュートン型手法の部分問題を通常の最小二乗問題に単純化できるか、かつ収束保証を維持できるか？
• RQ3 ヘッセ行列と勾配のより弱い正則性条件が、ニュートン・コレスキー型手法のグローバル収束を保証できるか？
• RQ4 局所的収束を、孤立した最小値に限定されない最小値の集合への収束へ一般化できるか？
• RQ5 invex 問題（凸問題を一般化した問題）に対して、強い凸性がなくても効果的に動作するニュートン型手法を設計できるか？

主な発見

• Newton-MR は、凸性や勾配・ヘッセ行列のリプシッツ連続性を仮定せず、invex 問題においてグローバル収束を達成する。
• Newton-MR の部分問題は通常の最小二乗問題であり、他の非凸ニュートン法で複雑な部分問題を解く必要があるのと比べて、計算が著しく単純化される。
• ヘッセ行列と勾配の弱い連合正則性条件が、グローバル収束を保証するのに十分であり、ニュートン・コレスキー法の適用範囲を滑らかで凸でない設定へ拡張する。
• Newton-MR は、局所的収束を最小値の集合への収束へ一般化し、ニュートン・コレスキー法の局所的解析に制限を課す孤立した最小値の仮定を排除する。
• 最小限の滑らかさ仮定のもとでグローバル収束を維持するため、より広範な非滑らか・非凸最適化問題に適したアルゴリズムである。