[论文解读] NOWPAC: A provably convergent derivative-free nonlinear optimizer with path-augmented constraints

F. Augustin, Youssef Marzouk|arXiv (Cornell University)|Mar 8, 2014

Advanced Optimization Algorithms Research参考文献 44被引用 15

一句话总结

NOWPAC 是一种无导数的非线性优化算法，采用信赖域框架，并对目标函数和约束使用完全线性模型，结合一种新颖的路径增强型约束处理方案，以确保可行的试探步长。该方法在函数评估不精确的情况下仍能保证收敛至一阶临界点，若数值误差以适当速率衰减，则收敛性可得到保证，并包含一个误差指示器，可在实际中检测并缓解不可靠评估的影响。

ABSTRACT

This paper proposes the algorithm NOWPAC (Nonlinear Optimization With Path-Augmented Constraints) for nonlinear constrained derivative-free optimization. The algorithm uses a trust region framework based on fully linear models for the objective function and the constraints. A new constraint-handling scheme based on an inner boundary path allows for the computation of feasible trial steps using models for the constraints. We prove that the iterates computed by NOWPAC converge to a first-order critical point. We also discuss the convergence of NOWPAC in situations where evaluations of the objective function or the constraints are inexact, e.g., corrupted by numerical errors. We determine a rate of decay that the magnitude of these numerical errors must satisfy, while approaching the critical point, to guarantee convergence. In settings where adjusting the accuracy of the objective or constraint evaluations is not possible, as is often the case in practical applications, we introduce an error indicator to detect these regimes and prevent deterioration of the optimization results.

研究动机与目标

• 开发一种适用于非线性约束问题的无导数优化算法，其中目标函数和约束函数仅能通过黑箱评估获得。
• 解决实际应用中常见的不精确函数评估问题，即无法事先控制或界定数值误差。
• 即使在函数评估存在不精确性的情况下，仍确保收敛至一阶临界点。
• 提出一种基于内边界路径的新约束处理机制，通过约束模型实现可行的试探步长。
• 在不精确评估下提供收敛性的理论保证，并引入误差指示器以检测并防止优化性能下降。

提出的方法

• NOWPAC 采用信赖域框架，对目标函数和约束均使用完全线性模型，实现在无需导数信息情况下的局部近似。
• 引入一种路径增强型约束处理方案，通过定义可行的内边界路径，利用模型预测计算满足约束的试探步长。
• 采用基于信赖域内可行方向上目标函数梯度最小值的临界性度量，并针对约束模型进行相应调整。
• 引入收敛性理论，证明在标准假设下（包括信赖域半径递减）可实现全局收敛至一阶临界点。
• 针对不精确评估，推导出数值误差必须满足的衰减速率，以保持收敛性，该速率基于模型精度和信赖域大小。
• 引入误差指示器，用于检测高不精确性区域，并在函数评估精度无法调整时防止优化性能下降。

实验结果

研究问题

• RQ1 当目标函数和约束函数均存在不精确评估时，无导数优化算法能否保证收敛至一阶临界点？
• RQ2 在无导数信息可用的情况下，如何改进无导数优化中的约束处理方法，而不依赖罚函数或过滤器？
• RQ3 函数评估中的数值误差必须以何种衰减速率才能确保算法收敛至临界点？
• RQ4 能否设计一种实用的误差检测机制，以在优化过程中识别并缓解函数评估中高不精确性区域？
• RQ5 路径增强型约束策略如何改善无导数信赖域方法的可行性与收敛行为？

主要发现

• NOWPAC 在标准信赖域假设下，即使目标函数和约束评估存在不精确性，仍能保证收敛至一阶临界点。
• 若数值误差的大小以 o(ρk) 的速率衰减，则可保证收敛，其中 ρk 为信赖域半径。
• 路径增强型约束处理方案可仅通过约束模型预测计算出可行的试探步长，从而提升算法的鲁棒性与可行性。
• 算法的临界性度量随信赖域半径减小而收敛至零，确保收敛至临界点。
• 成功集成了误差指示器，可检测高不精确性区域，并在实际应用中防止性能下降。
• 理论分析证实，目标函数和约束的梯度近似误差均处于 o(ρk) 阶，确保了基于模型的优化过程的一致性。