[论文解读] A one-phase interior point method for nonconvex optimization

Oliver Hinder, Yinyu Ye|arXiv (Cornell University)|Jan 9, 2018

Advanced Optimization Algorithms Research参考文献 33被引用 10

一句话总结

本文提出了一种用于非凸优化的一阶段内点法，通过精心初始化和更新松弛变量，避免了罚函数或两阶段方法，确保全局收敛至一阶局部最优性、不可行性或无界性的证书。该方法保持原始可行性与互补性，且其速率与障碍参数一致，从而在 CUTEst 测试问题上实现了 9% 的失败率，优于 IPOPT 的 16%，表现出更强的鲁棒性。

ABSTRACT

The work of Wachter and Biegler suggests that infeasible-start interior point methods (IPMs) developed for linear programming cannot be adapted to nonlinear optimization without significant modification, i.e., using a two-phase or penalty method. We propose an IPM that, by careful initialization and updates of the slack variables, is guaranteed to find a first-order certificate of local infeasibility, local optimality or unboundedness of the (shifted) feasible region. Our proposed algorithm differs from other IPM methods for nonconvex programming because we reduce primal feasibility at the same rate as the barrier parameter. This gives an algorithm with more robust convergence properties and closely resembles successful algorithms from linear programming. We implement the algorithm and compare with IPOPT on a subset of CUTEst problems. Our algorithm requires a similar median number of iterations, but fails on only 9% of the problems compared with 16% for IPOPT. Experiments on infeasible variants of the CUTEst problems indicate superior performance for detecting infeasibility. The code for our implementation can be found at https://github.com/ohinder/OnePhase .

研究动机与目标

• 为解决 Wächter 和 Biegler（2000）所指出的不可行起始内点法（IPMs）在非凸问题上的失效问题，即无法可靠检测不可行性或收敛至最优解。
• 开发一种单阶段 IPM，避免罚函数方法或类似 IPOPT 的可行性恢复阶段的两阶段算法所带来的复杂性与数值问题。
• 在一般条件下，确保全局收敛至局部最优性、不可行性或无界性的第一阶证书。
• 保持原始可行性与互补性，且其速率与障碍参数一致，模拟成功线性规划 IPMs 的表现。
• 提升在检测不可行性及降低非凸测试问题上失败率方面的鲁棒性。

提出的方法

• 该算法通过初始化松弛变量，使得 $ a(x^0) + s^0 = w\mu^0 $，从而从一开始就确保移位障碍问题的可行性。
• 在迭代过程中保持恒等式 $ a(x) + s = w\mu $，以确保相对于移位障碍问题的原始可行性。
• 该方法使用切换条件（20）根据梯度范数、互补性及对偶变量行为，决定采用激进步长还是稳定化步长。
• 当 KKT 误差较小时且互补性条件良好时，采用激进步长；否则使用稳定化步长，其中 $ \delta = \delta_{\min} $。
• 该算法采用随时间递减的障碍参数 $ \mu $，并通过更新松弛变量以保持 $ s^T y \approx \mu $。
• 终止条件基于 KKT 误差（$ \Gamma_{\text{far}} $）、不可行性（$ \Gamma_{\text{inf}} $）以及无界性（$ \|x\|_\infty^{-1} \geq \epsilon_{\text{unbd}} $）

实验结果

研究问题

• RQ1 能否设计一种用于非凸优化的一阶段内点法，避免罚函数或两阶段方案，同时确保全局收敛？
• RQ2 如何通过松弛变量的初始化与更新，确保对最优性、不可行性或无界性证书的鲁棒收敛？
• RQ3 在非凸环境下，若保持原始可行性与互补性与障碍参数以相同速率变化，是否能提升收敛的鲁棒性？
• RQ4 此类方法是否能在失败率与不可行性检测方面优于 IPOPT 等成熟求解器？
• RQ5 在何种条件下可保证该算法以局部最优性、不可行性或无界性的第一阶证书终止？

主要发现

• 所提算法在 CUTEst 问题上的失败率为 9%，低于 IPOPT 的 16%，表明其具有更优的鲁棒性。
• 该算法在 CUTEst 问题的不可行变体中成功检测到不可行性，优于 IPOPT 的表现。
• 中位数迭代次数与 IPOPT 相当，表明尽管鲁棒性提升，但收敛速度仍保持相似。
• 该方法在一般条件下保证收敛至局部最优性、不可行性或无界性的第一阶证书。
• 该算法避免了对罚参数或可行性恢复阶段的需求，简化了实现并减少了数值问题。
• 基于 $ \Gamma_{\text{far}} $、$ \Gamma_{\text{inf}} $ 和 $ \epsilon_{\text{unbd}} $ 的终止条件能有效检测最优性、不可行性与无界性。