[论文解读] Adaptive Regularization Algorithms with Inexact Evaluations for Nonconvex Optimization

Stefania Bellavia, Gianmarco Gurioli+2 more|arXiv (Cornell University)|Nov 9, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 8

一句话总结

该论文提出了一种用于非凸优化的自适应正则化算法，通过灵活的、与迭代相关的不精确性容差，处理函数值和导数评估的不精确性。该算法建立了最优评估复杂度界限：$ O(\rho^{-\frac{p+\beta}{p-q+\beta}}) $ 次迭代和 $ O(|\log(\epsilon)|\rho^{-\frac{p+\beta}{p-q+\beta}}) $ 次近似评估，用于寻找使用 $ p $ 阶导数且最高阶导数为 $ \beta $-霍赫德勒连续的 $ q $ 阶 $ \epsilon $-极小化子。

ABSTRACT

A regularization algorithm using inexact function values and inexact derivatives is proposed and its evaluation complexity analyzed. This algorithm is applicable to unconstrained problems and to problems with inexpensive constraints (that is constraints whose evaluation and enforcement has negligible cost) under the assumption that the derivative of highest degree is $β$-Hölder continuous. It features a very flexible adaptive mechanism for determining the inexactness which is allowed, at each iteration, when computing objective function values and derivatives. The complexity analysis covers arbitrary optimality order and arbitrary degree of available approximate derivatives. It extends results of Cartis, Gould and Toint (2018) on the evaluation complexity to the inexact case: if a $q$th order minimizer is sought using approximations to the first $p$ derivatives, it is proved that a suitable approximate minimizer within $ε$ is computed by the proposed algorithm in at most $O(ε^{-\frac{p+β}{p-q+β}})$ iterations and at most $O(|\log(ε)|ε^{-\frac{p+β}{p-q+β}})$ approximate evaluations. An algorithmic variant, although more rigid in practice, can be proved to find such an approximate minimizer in $O(|\log(ε)|+ε^{-\frac{p+β}{p-q+β}})$ evaluations.While the proposed framework remains so far conceptual for high degrees and orders, it is shown to yield simple and computationally realistic inexact methods when specialized to the unconstrained and bound-constrained first- and second-order cases. The deterministic complexity results are finally extended to the stochastic context, yielding adaptive sample-size rules for subsampling methods typical of machine learning.

研究动机与目标

• 填补非凸优化算法在函数值和导数评估不精确时的评估复杂度分析空白。
• 将 Cartis 等人（2018）的统一正则化框架扩展至允许不精确评估，同时保持最优最坏情况复杂度。
• 为任意模型阶数 $ p $、任意最优性阶数 $ q $ 以及 $ \beta $-霍赫德勒连续的最高阶导数提供复杂度界限。
• 将该框架特化为无约束和边界约束问题的实用一阶与二阶方法。
• 将确定性复杂度结果扩展至随机设置，推导出机器学习场景中子采样所需的样本量规则。

提出的方法

• 提出一种自适应正则化算法，可在每次迭代中动态调整函数和导数评估的不精确性容差。
• 采用类似信赖域的机制控制不精确评估的精度，确保模型质量足以保证收敛。
• 引入一种依赖于当前迭代点和期望精度 $ \epsilon $ 的灵活不精确性准则，平衡计算成本与收敛保证。
• 在最高阶导数满足 $ \beta $-霍赫德勒连续性的条件下，分析最坏情况下的评估复杂度，推广先前基于精确评估的结果。
• 推导出以 $ \epsilon $、$ p $、$ q $ 和 $ \beta $ 表示的复杂度界限，表明即使存在不精确性，该算法仍能保持最优复杂度。
• 通过推导满足不精确性条件的高概率下所需样本量的随机边界，将该框架扩展至随机设置。

实验结果

研究问题

• RQ1 当函数和导数评估不精确但自适应控制时，正则化算法的最坏情况评估复杂度是多少？
• RQ2 在具有灵活自适应精度要求的不精确评估下，能否保持精确正则化方法的最优复杂度界限？
• RQ3 在不精确性条件下，复杂度界限如何随最优性阶数 $ q $、可用导数的阶数 $ p $ 以及光滑性参数 $ \beta $ 变化？
• RQ4 在随机子采样方法中，为确保不精确性条件以高概率满足，需要多大的样本量？
• RQ5 所提出的框架能否在实际中产生计算上切实可行的一阶与二阶优化不精确方法？

主要发现

• 所提出的算法在最多 $ O\big{(}\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 次迭代和 $ O\big{(}|\log(\epsilon)|\epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 次近似评估内计算出一个 $ q $ 阶 $ \epsilon $-极小化子。
• 一种算法变体实现了 $ O\big{(}|\log(\epsilon)| + \epsilon^{-\frac{p+\beta}{p-q+\beta}}\big{)} $ 次评估，改善了对数依赖关系。
• 复杂度界限在最优意义上成立，即与精确评估情况下的已知下界一致。
• 对于一阶与二阶方法，该框架可产生简单且数值上现实的不精确算法，并具有可证明的收敛性保证。
• 在随机设置中，分析为子采样提供了样本量的下界，确保不精确性条件以高概率满足。
• 该结果对具有低成本约束的问题依然有效，扩展了其适用范围，超越了无约束问题的限制。