[论文解读] A feasible second order bundle algorithm for nonsmooth nonconvex optimization problems with inequality constraints: II. Implementation and numerical results

Hannes Fendl, Hermann Schichl|arXiv (Cornell University)|Jun 26, 2015

Advanced Optimization Algorithms Research参考文献 20被引用 3

一句话总结

本文提出了一种适用于非光滑、非凸优化问题且带有不等式约束的可行二阶Bundle算法的实际实现，通过求解一个凸二次约束二次规划（QCQP）来计算搜索方向。该方法在性能上优于MPBNGC和SolvOpt等求解器，尤其在高维问题以及解处存在大量活跃约束的情况下表现更优。

ABSTRACT

This paper presents a concrete implementation of the feasible second order bundle algorithm for nonsmooth, nonconvex optimization problems with inequality constraints \cite{HannesPaperB}. It computes the search direction by solving a convex quadratically constrained quadratic program. Furthermore, certain versions of the search direction problem are discussed and the applicability of this approach is justified numerically by using different solvers for the computation of the search direction. Finally, the good performance of the second order bundle algorithm is demonstrated by comparison with test results of other solvers on examples of the Hock-Schittkowski collection, on custom examples that arise in the context of finding exclusion boxes for quadratic constraint satisfaction problems, and on higher dimensional piecewise quadratic examples.

研究动机与目标

• 解决因非可微性导致传统基于梯度的方法失效的非光滑、非凸优化问题，且带有不等式约束。
• 开发一种可靠且高效的二阶Bundle方法实现，保持可行性，并利用二阶信息实现更快的收敛速度。
• 确保在困难测试问题上的稳健性能，包括Hock-Schittkowski测试集、二次约束满足问题以及高维分段二次示例。
• 通过对比多种求解器并展示数值稳定性和效率，证明采用QCQP方法计算搜索方向的合理性。

提出的方法

• 将搜索方向计算表述为一个凸二次约束二次规划（QCQP），以利用二阶信息。
• 采用类似序列二次规划（SQP）的方法处理约束，结合对约束函数的二次逼近。
• 通过仅接受始终保持在可行域内的“正式步”来严格保证可行性，确保在整个迭代过程中满足约束。
• 实施一种线搜索策略，当合适时可接受不可行的试探点，这与传统Bundle方法拒绝不可行迭代点的做法不同。
• 利用QCQP子问题中的强对偶性，支持有意义的终止准则和全局收敛性保证。
• 集成多种QP求解器，以验证所选公式化的鲁棒性与性能。

实验结果

研究问题

• RQ1 能否在非光滑、非凸优化问题且带有不等式约束的情况下，有效实现一种具有可行迭代点的二阶Bundle方法？
• RQ2 与替代方法相比，采用QCQP公式化方法计算搜索方向对收敛性和数值性能有何影响？
• RQ3 在基准测试问题和特定应用测试问题上，该算法与MPBNGC和SolvOpt等成熟求解器相比表现如何？
• RQ4 在高维问题或解处存在大量活跃约束的情况下，该算法是否仍保持优越性能？
• RQ5 在实时或嵌入式应用中常见的有限函数评估与计算预算下，该算法能否可靠实现收敛？

主要发现

• 在Hock-Schittkowski测试集中，简化后的算法在m₂ = N的100个示例中有20个显著优于MPBNGC，整体表现更优。
• 对于具有大量活跃约束的高维分段二次问题，该算法展现出优于其他求解器的收敛行为和效率。
• 在m₂ = N的100个困难示例中，97%的情况下简化算法要么显著优于，要么与SolvOpt在求解时间上相当，仅有5个示例中SolvOpt显著更优。
• 在m₂ = N的100个示例中，MPBNGC有78个未能在迭代限制内收敛，而简化算法在22个示例中成功收敛，并在其中15个中优于MPBNGC。
• 该算法表现出良好的鲁棒性与可扩展性，性能在更高维数和具有复杂非光滑结构的问题中进一步提升。
• 采用基于QCQP的搜索方向选择在数值上是合理的，因为不同求解器均产生一致且可靠的结果，支持该方法的理论合理性。