[论文解读] An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(\epsilon^{-3/2})$ for Nonconvex Optimization

Frank E. Curtis, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用 4

一句话总结

该论文提出了一种适用于非凸优化的通用不精确正则化牛顿框架，其最坏情况迭代复杂度为 O(ε⁻³/²)，用于将梯度范数降低至 ε 以下，以及 O(ε⁻³)，用于确保最小的 Hessian 特征值超过 −ε。该方法通过在通用且灵活的条件下允许对正则化子问题采用不精确解，统一并扩展了现有最优复杂度方法（如 ARC 和 TRACE），并提出了一种新型混合算法，在数值测试中表现优于立方正则化方法。

ABSTRACT

An algorithm for solving smooth nonconvex optimization problems is proposed that, in the worst-case, takes $\mathcal{O}(\epsilon^{-3/2})$ iterations to drive the norm of the gradient of the objective function below a prescribed positive real number $\epsilon$ and can take $\mathcal{O}(\epsilon^{-3})$ iterations to drive the leftmost eigenvalue of the Hessian of the objective above $-\epsilon$. The proposed algorithm is a general framework that covers a wide range of techniques including quadratically and cubically regularized Newton methods, such as the Adaptive Regularisation using Cubics (ARC) method and the recently proposed Trust-Region Algorithm with Contractions and Expansions (TRACE). The generality of our method is achieved through the introduction of generic conditions that each trial step is required to satisfy, which in particular allow for inexact regularized Newton steps to be used. These conditions center around a new subproblem that can be approximately solved to obtain trial steps that satisfy the conditions. A new instance of the framework, distinct from ARC and TRACE, is described that may be viewed as a hybrid between quadratically and cubically regularized Newton methods. Numerical results demonstrate that our hybrid algorithm outperforms a cublicly regularized Newton method.

研究动机与目标

• 开发一种统一的不精确正则化牛顿方法框架，用于非凸优化，实现最优最坏情况迭代复杂度。
• 通过允许子问题采用不精确解，将现有复杂度结果扩展至精确方法之外，同时保持收敛性保证。
• 在单一、灵活的框架下统一并推广现有的最优复杂度方法，如 ARC 和 TRACE。
• 提出一种新型混合算法，结合二次和三次正则化特性，性能优于纯三次方法。

提出的方法

• 该框架定义了每个试算步必须满足的通用条件，从而允许对正则化子问题采用不精确解。
• 引入了一种子问题，可通过近似求解来生成满足所需条件的试算步。
• 该方法使用正则化参数控制步长质量，避免显式调整信赖域半径。
• 该框架同时包含二次和三次正则化项，支持混合化。
• 通过分析为降低梯度范数和最小 Hessian 特征值所需迭代次数，建立了最坏情况复杂度边界。
• 该算法根据充分下降和曲率条件动态调整正则化参数。

实验结果

研究问题

• RQ1 能否设计一种通用的不精确正则化牛顿框架，实现非凸优化中 O(ε⁻³/²) 的最坏情况迭代复杂度？
• RQ2 如何在不牺牲收敛性保证的前提下，将子问题的不精确解纳入此类框架？
• RQ3 能否构建一种混合算法，结合二次和三次正则化的优点，优于纯三次方法？
• RQ4 为确保最优的一阶和二阶复杂度边界，试算步的必要和充分条件是什么？
• RQ5 所提出的框架如何统一并推广现有的最优复杂度方法（如 ARC 和 TRACE）？

主要发现

• 所提出的框架在将梯度范数降低至 ε 以下时，实现了 O(ε⁻³/²) 的最坏情况迭代复杂度，与立方正则化方法的最佳已知复杂度一致。
• 该框架在确保最左端 Hessian 特征值超过 −ε 时，也实现了 O(ε⁻³) 的复杂度，与 ARC 和 TRACE 的二阶复杂度边界一致。
• 提出了一种新型混合算法，结合了二次和三次正则化，数值实验表明其性能优于纯三次方法（ARC）。
• 该框架通过允许不精确牛顿步并采用一组灵活的步长接受条件，推广了 ARC 和 TRACE。
• 数值结果表明，该混合算法在一系列测试问题上，相比 ARC 减少了迭代次数以及函数/导数评估次数。
• 只要满足通用条件，即使子问题采用不精确求解，该方法仍能保持全局收敛性和复杂度保证。