[论文解读] Improved second-order evaluation complexity for unconstrained nonlinear optimization using high-order regularized models

Coralia Cartis, Nicholas I. M. Gould+1 more|arXiv (Cornell University)|Aug 14, 2017

Advanced Optimization Algorithms Research参考文献 14被引用 18

一句话总结

本文提出了一种使用高阶泰勒模型（阶数 $ p \geq 2 $）的自适应正则化算法，以改进无约束非线性优化中寻找二阶临界点的评估复杂度。在 $ p $ 阶导数满足利普希茨连续性且函数有下界的前提下，该方法实现了改进的复杂度界 $ O\left(\max\left(\epsilon_1^{-(p+1)/p}, \epsilon_2^{-(p+1)/(p-1)}\right)\right) $ 次函数与梯度评估，优于此前针对一阶和二阶最优性结果的复杂度界限。

ABSTRACT

The unconstrained minimization of a sufficiently smooth objective function $f(x)$ is considered, for which derivatives up to order $p$, $p\geq 2$, are assumed to be available. An adaptive regularization algorithm is proposed that uses Taylor models of the objective of order $p$ and that is guaranteed to find a first- and second-order critical point in at most $O \left(\max\left( ε_1^{-\frac{p+1}{p}}, ε_2^{-\frac{p+1}{p-1}} ight) ight)$ function and derivatives evaluations, where $ε_1$ and $ε_2 >0$ are prescribed first- and second-order optimality tolerances. Our approach extends the method in Birgin et al. (2016) to finding second-order critical points, and establishes the novel complexity bound for second-order criticality under identical problem assumptions as for first-order, namely, that the $p$-th derivative tensor is Lipschitz continuous and that $f(x)$ is bounded from below. The evaluation-complexity bound for second-order criticality improves on all such known existing results.

研究动机与目标

• 降低无约束非线性优化中寻找二阶临界点的评估复杂度。
• 将先前仅实现一阶复杂度改进的高阶正则化方法扩展至二阶最优性。
• 在相同假设条件下（$ p $ 阶导数利普希茨连续性且有下界），建立优于已知结果的复杂度界。
• 分析在局部近似模型最小化条件下，模型精度、正则化与收敛性之间的相互作用。
• 证明更高阶模型（$ p > 2 $）的渐近复杂度优于三次或二次方法。

提出的方法

• 使用目标函数 $ f(x) $ 的 $ p $ 阶泰勒模型 $ T_p(x,s) $，截断至 $ p \geq 2 $ 次项。
• 采用自适应正则化，引入惩罚项 $ \sigma_k \|s\|^{p+1} $，以确保模型最小化过程中的充分下降与稳定性。
• 实现一种自适应算法，根据预测下降与实际下降的一致性动态调整正则化参数 $ \sigma_k $。
• 采用局部非精确最小化策略求解正则化模型，满足条件 (2.19) 和 (2.20)，以确保向一阶与二阶临界点的收敛进展。
• 当 $ \|\nabla f(x_k)\| \leq \epsilon_1 $ 与 $ \lambda_{\text{left}}(\nabla^2 f(x_k)) \geq -\epsilon_2 $ 同时满足时终止算法。
• 依赖递归张量范数与 $ p $ 阶导数的利普希茨连续性，推导出收敛性与复杂度界。

实验结果

研究问题

• RQ1 能否在已知 $ O(\max(\epsilon_1^{-3/2}, \epsilon_2^{-3})) $ 复杂度界限的基础上，进一步改进寻找二阶临界点的评估复杂度？
• RQ2 使用更高阶泰勒模型（$ p \geq 3 $）并结合正则化，是否能获得比现有三次或二次方法更紧的复杂度界？
• RQ3 能否在与一阶复杂度分析相同的假设（$ C^{p,1} $，有下界）下，实现更优的二阶复杂度？
• RQ4 复杂度随 $ p $ 增大如何变化？当 $ p \to \infty $ 时，是否趋近于 $ O(\max(\epsilon_1^{-1}, \epsilon_2^{-1})) $？
• RQ5 近似模型最小化对整体复杂度与收敛性保证有何影响？

主要发现

• 所提算法在寻找二阶临界点时，实现了 $ O\left(\max\left(\epsilon_1^{-(p+1)/p}, \epsilon_2^{-(p+1)/(p-1)}\right)\right) $ 的评估复杂度。
• 当 $ p = 3 $ 时，复杂度优化为 $ O\left(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2})\right) $，优于三次正则化方法的已知 $ O(\epsilon_2^{-3}) $ 界。
• 当 $ p = 2 $ 时，该界退化为标准的 $ O(\max(\epsilon_1^{-3/2}, \epsilon_2^{-3})) $，与已有结果一致。
• 随着 $ p \to \infty $，复杂度界渐近逼近 $ O(\max(\epsilon_1^{-1}, \epsilon_2^{-1})) $，表明在中等 $ p $ 之后收益递减。
• 分析表明，相同的假设条件——$ f \in C^{p,1} $，有下界，且 $ p $ 阶导数利普希茨连续——足以实现改进的复杂度界，与一阶情形一致。
• 即使仅使用模型子问题的近似解，该方法仍能保持全局收敛性与复杂度保证。