[论文解读] An interior point method for nonlinear constrained derivative-free optimization

Andrea Brilli, Giampaolo Liuzzi+1 more|arXiv (Cornell University)|Aug 11, 2021

Advanced Optimization Algorithms Research被引用 4

一句话总结

本文提出了一种用于非线性约束优化的无导数内点法，其中目标函数和约束函数为黑箱且不可松弛。该方法在罚函数中结合了不等式约束的对数障碍法和等式约束的二次罚函数，证明了在弱假设下收敛至KKT点，并在标准测试问题上与最先进求解器相比表现出高效性。

ABSTRACT

In this paper we consider constrained optimization problems where both the objective and constraint functions are of the black-box type. Furthermore, we assume that the nonlinear inequality constraints are non-relaxable, i.e. their values and that of the objective function cannot be computed outside of the feasible region. This situation happens frequently in practice especially in the black-box setting where function values are typically computed by means of complex simulation programs which may fail to execute if the considered point is outside of the feasible region. For such problems, we propose a new derivative-free optimization method which is based on the use of a merit function that handles inequality constraints by means of a log-barrier approach and equality constraints by means of a quadratic penalty approach. We prove convergence of the proposed method to KKT stationary points of the problem under quite mild assumptions. Furthermore, we also carry out a preliminary numerical experience on standard test problems and comparison with a state-of-the-art solver which shows efficiency of the proposed method.

研究动机与目标

• 解决目标函数和约束函数为黑箱且不可松弛（即在可行域外评估会失败）的非线性约束无导数优化问题。
• 通过使用内点惩罚而非极端惩罚方法，设计一种可处理不可松弛约束且不引入不连续性的方法。
• 在导数不可用的情况下，确保在弱假设下收敛至KKT驻点。
• 设计一种实用算法，有效整合无导数设置下的对数障碍项与罚函数项。

提出的方法

• 使用一个罚函数，结合不等式约束 $ g(x) \leq 0 $ 的对数障碍项和等式约束 $ h(x) = 0 $ 的二次罚项，定义为 $ P(x;\epsilon) = f(x) - \epsilon \sum \log[-g_j(x)] + \frac{1}{\epsilon} \sum |h_j(x)|^\nu $，其中 $ \nu > 1 $。
• 施加条件：当 $ g(x) \not< 0 $ 时，$ P(x;\epsilon) = +\infty $，以确保不可松弛约束永不被违反。
• 求解子问题 $ \min P(x;\epsilon) $，约束为 $ x \in \stackrel{\circ}{\mathcal{S}} \cap X $，其中 $ \stackrel{\circ}{\mathcal{S}} $ 为不等式约束集的内部。
• 采用基于模式搜索的算法来最小化罚函数，无需梯度信息。
• 使用带过滤类型接受规则的线搜索策略，以确保罚函数充分下降。
• 采用类似信赖域的框架，自适应调整罚参数 $ \epsilon_k $，随着迭代逼近最优解而逐步减小。

实验结果

研究问题

• RQ1 无导数内点法能否在不引入不连续性或病态条件的情况下，有效处理不可松弛的黑箱约束？
• RQ2 当导数不可用时，在弱假设下，将对数障碍项与二次罚项结合于罚函数中，是否能保证收敛至KKT点？
• RQ3 在实际应用中，该方法与最先进的无导数求解器相比，在约束黑箱问题上的表现如何？
• RQ4 在存在复杂仿真型约束的情况下，该算法能否保持全局收敛性，并避免收敛至不可行或次优点？

主要发现

• 所提方法在弱假设下可收敛至问题的KKT驻点，即使导数不可用或不可靠。
• 在迭代序列中，不等式和等式约束的拉格朗日乘子序列保持有界，确保了稳定性。
• 收敛性证明依赖于极限点处满足Mangasarian-Fromovitz约束规范性条件（MFCQ），该条件在分析中被假设成立。
• 在标准测试问题上的数值实验表明，该方法在收敛质量与鲁棒性方面与最先进的无导数求解器具有可比性。
• 该方法有效避免了极端惩罚方法引入的病态条件与不连续性，从而实现更可靠的收敛。
• 对不可松弛约束使用对数障碍函数，确保罚函数在可行域内部保持有限且光滑，从而支持稳定优化。