[論文レビュー] Regularized Newton Method with Global $O(1/k^2)$ Convergence

Konstantin Mishchenko|arXiv (Cornell University)|Dec 3, 2021

Iterative Methods for Nonlinear Equations被引用数 5

ひとこと要約

本稿では、立方体正則化と適応的 Levenberg–Marquardt 形式のペナルティを組み合わせることで、ヘッセ行列のリプシッツ連続性を満たす凸目的関数に対して、グローバルに O(1/k²) の収束を達成する正則化ニュートン法を提案する。この手法は、任意の初期化から高速かつ安定した収束を保証し、反復毎に単一の線形方程式系を解くだけで済み、強い凸性のもとで超線形の局所収束を示す。

ABSTRACT

We present a Newton-type method that converges fast from any initialization and for arbitrary convex objectives with Lipschitz Hessians. We achieve this by merging the ideas of cubic regularization with a certain adaptive Levenberg--Marquardt penalty. In particular, we show that the iterates given by $x^{k+1}=x^k - \bigl( abla^2 f(x^k) + \sqrt{H\| abla f(x^k)\|} \mathbf{I}\bigr)^{-1} abla f(x^k)$, where $H>0$ is a constant, converge globally with a $\mathcal{O}(\frac{1}{k^2})$ rate. Our method is the first variant of Newton's method that has both cheap iterations and provably fast global convergence. Moreover, we prove that locally our method converges superlinearly when the objective is strongly convex. To boost the method's performance, we present a line search procedure that does not need prior knowledge of $H$ and is provably efficient.

研究の動機と目的

• 線形最小化やラインサーチを必要とせず、高速な収束レートを維持するグローバル収束性を有するニュートン型手法の開発。
• 古典的ニュートン法の不安定性（初期値が悪いと収束しないが、局所的には高速）を解消すること。
• 立方体正則化と Levenberg–Marquardt 正則化の利点を統合し、グローバル収束性と効率的な反復を両立すること。
• ヘッセ行列のリプシッツ定数 H の事前知識が不要な適応的ラインサーチの設計。
• 本手法が O(1/k²) のグローバル収束と超線形の局所収束を達成することを示し、立方体ニュートンの最良レートを再現するが、計算がより単純であること。

提案手法

• 更新則 $ x^{k+1} = x^k - \left( \nabla^2 f(x^k) + \sqrt{H \| \nabla f(x^k) \|} \, \mathbf{I} \right)^{-1} \nabla f(x^k) $ を用いる。ここで $ H > 0 $ はヘッセ行列のリプシッツ定数を上から抑える定数である。
• 立方体正則化理論と適応的 Levenberg–Marquardt 形式の正則化を統合し、ヘッセ行列の近似を安定化させ、条件数を改善する。
• 正則化項 $ \sqrt{H \| \nabla f(x^k) \|} \, \mathbf{I} $ は勾配ノルムに従って動的にスケーリングされ、ロバスト性とグローバル収束性を保証する。
• H の事前知識が不要な適応的ラインサーチを導入し、実用的性能を向上させる。
• 反復毎に単一の線形方程式系を解くことで、コストの高い部分問題最小化を回避する。
• 2つの適応的変種（アルゴリズム2およびアルゴリズム4）を提案。アルゴリズム2はより洗練されたバックトラッキングルールを用い、アルゴリズム4は単純なヒューリスティックを用いる。

実験結果

リサーチクエスチョン

• RQ1 線形最小化やラインサーチを必要とせず、単一の線形方程式系の解法で済む反復を維持しつつ、グローバルに O(1/k²) の収束を達成できるニュートン型手法は存在するか？
• RQ2 立方体正則化と適応的 Levenberg–Marquardt 正則化を組み合わせることで、グローバル収束性を保ちつつ高速な収束レートを達成できる手法は得られるか？
• RQ3 H の事前知識がなくても、グローバル収束性と高速レートを維持できるように、手法を H に適応可能にすることができるか？
• RQ4 既存手法（Armijo ラインサーチ、立方体ニュートン、ARC）と比較して、悪条件の問題において実際の性能はどうか？
• RQ5 目的関数が強い凸性を満たす場合、本手法は超線形の局所収束を示すか？

主な発見

• 提案手法は、ヘッセ行列のリプシッツ連続性を満たす凸関数に対して、立方体ニュートンの最良レートと同等のグローバル O(1/k²) 収束を達成する。
• 立方体ニュートンとは異なり、部分問題を解く必要がなく、反復毎に単一の線形方程式系を解くことで、反復が安価である。
• 数値実験では、適応的バージョン（アルゴリズム2）が、ロジスティック回帰や log-sum-exp 問題といった悪条件の問題において非常に少ない反復回数で収束し、Armijo ラインサーチや固定 H を用いた立方体ニュートンを上回る性能を示した。
• ρ = 0.05 の log-sum-exp 問題では、Armijo ラインサーチが悪条件のため失敗したが、アルゴリズム2、アルゴリズム4、ARC のみが収束した。
• 目的関数が強い凸性を満たす場合、本手法は超線形の局所収束を示し、局所的効率性が確認された。
• 適応的ラインサーチ手順は、H の事前知識が不要であることを確認し、実用的問題における収束速度の向上に成功した。