[论文解读] High-order Evaluation Complexity of a Stochastic Adaptive Regularization Algorithm for Nonconvex Optimization Using Inexact Function Evaluations and Randomly Perturbed Derivatives

Stefania Bellavia, Gianmarco Gurioli+2 more|arXiv (Cornell University)|May 10, 2020

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文提出了一种用于非凸优化的随机自适应正则化算法，能够处理不精确的函数评估和噪声导数。在导数的Lipschitz连续性假设下，该算法建立了计算高阶近似极小点的尖锐复杂度界，对于 q=1（可行集为凸）和 q=2（无约束）情形，复杂度界为 O(ε⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾)，其他情况下为 O(ε⁻⁰⁽ᵖ⁺¹⁾⁄ᵖ⁾)。

ABSTRACT

A stochastic adaptive regularization algorithm allowing random noise in derivatives and inexact function values is proposed for computing strong approximate minimizers of any order for inexpensively constrained smooth optimization problems. For an objective function with Lipschitz continuous $p$-th derivative in a convex neighbourhood of the feasible set and given an arbitrary optimality order $q$, it is shown that this algorithm will, in expectation, compute such a point in at most $O\Bigl(\left(\min_{j\in\{1,\ldots,q\}}\epsilon_j ight)^{-\frac{p+1}{p-q+1}}\Bigr)$ inexact evaluations of $f$ and its derivatives whenever $q=1$ and the feasible set is convex, or $q=2$ and the problem is unconstrained, where $\epsilon_j$ is the tolerance for $j$th order accuracy. This bound becomes at most $O\Bigl(\left(\min_{j\in\{1,\ldots,q\}}\epsilon_j ight)^{-\frac{q(p+1)}{p}}\Bigr)$ inexact evaluations in the other cases if all derivatives are Lipschitz continuous. Moreover these bounds are sharp in the order of the accuracy tolerances.

研究动机与目标

• 开发一种在实际条件下（函数值不精确、导数有噪声）具有鲁棒性的非凸优化随机算法。
• 以最小的计算复杂度，计算任意阶 q 的光滑优化问题的强近似极小点。
• 建立实现所需精度容差的不精确评估次数的紧致理论界。
• 在约束和无约束情形下分析复杂度，尤其关注 q=1 和 q=2 的情况。
• 确保复杂度界在精度容差 εj 上是紧致的，即对每个导数阶数 j 的依赖关系最优。

提出的方法

• 该算法采用自适应正则化，结合随机的不精确函数评估和随机扰动的导数。
• 其采用类似信赖域的框架，基于噪声和不精确的导数信息更新模型。
• 该方法依赖于目标函数的 p 阶导数在可行集的凸邻域内满足Lipschitz连续性。
• 关键组件是根据不精确的梯度和海塞矩阵估计，自适应调整正则化参数。
• 在指定条件下，该算法可确保以期望形式收敛至 q 阶近似极小点。
• 通过界定为满足每个导数阶数 j 的精度容差 εj 所需的不精确评估次数，进行复杂度分析。

实验结果

研究问题

• RQ1 当函数值和导数不精确且有噪声时，随机自适应正则化算法的评估复杂度是多少？
• RQ2 复杂度如何依赖于期望最优性阶数 q 及每个导数阶数 j 的精度容差 εj？
• RQ3 在不精确性和噪声条件下，能否为非凸优化中的高阶近似极小点建立尖锐的复杂度界？
• RQ4 约束情形（q=1）与无约束情形（q=2）的复杂度界有何不同？
• RQ5 所导出的复杂度界在精度容差 εj 的依赖关系上是否紧致？

主要发现

• 当 q=1 且可行集为凸时，该算法以期望形式使用至多 O((minⱼ∈{1,…,q} εj)⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾) 次不精确评估，计算出 q 阶近似极小点。
• 在无约束情形下，当 q=2 时，相同复杂度界适用：期望评估次数为 O((minⱼ∈{1,…,q} εj)⁻⁽ᵖ⁺¹⁾⁄ᵖ⁻⁹⁺¹⁾)。
• 在所有其他情况下，当所有导数均满足Lipschitz连续性时，复杂度界变为 O((minⱼ∈{1,…,q} εj)⁻⁰⁽ᵖ⁺¹⁾⁄ᵖ⁾)。
• 所导出的复杂度界在精度容差 εj 的阶数上是紧致的，即对 εj 的依赖关系无法更优。
• 该结果在目标函数的 p 阶导数在可行集的凸邻域内满足Lipschitz连续性的假设下成立。
• 该方法对导数中的随机扰动和不精确评估具有鲁棒性，因此适用于实际的随机优化。