[论文解读] Regularized Newton Method with Global $O(1/k^2)$ Convergence

Konstantin Mishchenko|arXiv (Cornell University)|Dec 3, 2021

Iterative Methods for Nonlinear Equations被引用 5

一句话总结

本文提出了一种正则化牛顿法，通过结合立方正则化与自适应Levenberg–Marquardt型惩罚，实现了对具有Lipschitz Hessian的凸目标函数的全局O(1/k²)收敛。该方法从任意初始化出发均能实现快速且稳定的收敛，同时每步仅需求解一次线性系统，计算成本低廉，并在强凸条件下表现出超线性局部收敛性。

ABSTRACT

We present a Newton-type method that converges fast from any initialization and for arbitrary convex objectives with Lipschitz Hessians. We achieve this by merging the ideas of cubic regularization with a certain adaptive Levenberg--Marquardt penalty. In particular, we show that the iterates given by $x^{k+1}=x^k - \bigl( abla^2 f(x^k) + \sqrt{H\| abla f(x^k)\|} \mathbf{I}\bigr)^{-1} abla f(x^k)$, where $H>0$ is a constant, converge globally with a $\mathcal{O}(\frac{1}{k^2})$ rate. Our method is the first variant of Newton's method that has both cheap iterations and provably fast global convergence. Moreover, we prove that locally our method converges superlinearly when the objective is strongly convex. To boost the method's performance, we present a line search procedure that does not need prior knowledge of $H$ and is provably efficient.

研究动机与目标

• 开发一种全局收敛的牛顿型方法，保持快速收敛速率，且无需昂贵的子问题求解或线搜索。
• 解决经典牛顿法的不稳定性问题，该方法尽管在局部收敛迅速，但在不良初始化下可能无法收敛。
• 结合立方正则化与Levenberg–Marquardt正则化的优点，实现全局收敛与高效迭代的统一。
• 设计一种自适应线搜索，无需事先知晓Hessian的Lipschitz常数H。
• 证明该方法可实现O(1/k²)的全局收敛与超线性局部收敛，与最优立方牛顿法的收敛速率相当，且计算更简单。

提出的方法

• 该方法采用更新规则 $ x^{k+1} = x^k - \left( \nabla^2 f(x^k) + \sqrt{H \| \nabla f(x^k) \|} \, \mathbf{I} \right)^{-1} \nabla f(x^k) $，其中 $ H > 0 $ 为有界Hessian Lipschitz常数的常数。
• 将立方正则化理论与自适应Levenberg–Marquardt型正则化相结合，以稳定Hessian近似并改善条件数。
• 正则化项 $ \sqrt{H \| \nabla f(x^k) \|} \, \mathbf{I} $ 随梯度范数动态缩放，确保鲁棒性与全局收敛性。
• 引入一种自适应线搜索，可在无需事先知晓 $ H $ 的情况下调整步长，从而提升实际性能。
• 该方法通过每步仅求解一个线性系统来高效求解子问题，避免了昂贵的子问题最小化。
• 提出了两种自适应变体（算法2与算法4），其中算法2采用更复杂的回溯规则，算法4采用更简单的启发式方法。

实验结果

研究问题

• RQ1 能否设计一种牛顿型方法，在仅需单次线性系统求解、无需线搜索或子问题求解的前提下，实现全局O(1/k²)收敛？
• RQ2 将立方正则化与自适应Levenberg–Marquardt正则化相结合，是否能获得全局收敛且保持快速收敛速率的方法？
• RQ3 能否使方法自适应于Hessian Lipschitz常数H，而无需事先知晓H，同时保持全局收敛性与快速收敛速率？
• RQ4 在病态条件问题中，该方法与现有方法（如Armijo线搜索、固定H的立方牛顿法、ARC）相比，实际表现如何？
• RQ5 当目标函数为强凸时，该方法是否表现出超线性局部收敛？

主要发现

• 所提方法对具有Lipschitz Hessian的凸函数实现了全局O(1/k²)收敛，与最优立方牛顿法的收敛速率一致。
• 该方法通过每步仅求解一个线性系统，保持了低成本迭代，而立方牛顿法需求解子问题，计算成本更高。
• 数值实验表明，自适应版本（算法2）在病态问题（如逻辑回归与log-sum-exp问题）上仅需极少迭代即可收敛，优于Armijo线搜索与固定H的立方牛顿法。
• 在ρ = 0.05的log-sum-exp问题中，仅算法2、算法4与ARC成功收敛，而Armijo线搜索因病态性而失败。
• 当目标函数为强凸时，该方法表现出超线性局部收敛，证实了其在局部的高效性。
• 自适应线搜索过程成功避免了对H的先验知识需求，并在实际问题中提升了收敛速度。