[论文解读] Globally solving Non-Convex Quadratic Programs via Linear Integer Programming techniques

Wei Xia, Juan C. Vera+1 more|Research portal (Tilburg University)|Nov 8, 2015

Advanced Optimization Algorithms Research参考文献 27被引用 9

一句话总结

本文提出一种新颖方法，通过使用KKT条件、二值变量和大M约束，将非凸二次规划（QPs）重构为混合整数线性规划（MILPs），从而全局求解非凸QPs。关键贡献在于一种在不丢失全局最优解的前提下对对偶变量进行有界的方法，使状态最先进的MILP求解器得以高效使用，并在标准和一般QPs实例上优于现有的求解器quadprogBB、BARON和CPLEX。

ABSTRACT

Quadratic programming (QP) is a well-studied fundamental NP-hard optimization problem which optimizes a quadratic objective over a set of linear constraints. In this paper, we reformulate QPs as a mixed-integer linear problem (MILP). This is done via the reformulation of QP as a linear complementary problem, and the use of binary variables and big-M constraints, to model the complementary constraints. To obtain such reformulation, we show how to impose bounds on the dual variables without eliminating all the (globally) optimal primal solutions; using some fundamental results on the solution of perturbed linear systems. Reformulating non-convex QPs as MILPs provides an advantageous way to obtain global solutions as it allows the use of current state-of-the-art MILP solvers. To illustrate this, we compare the performance of our solution approach, labeled quadprogIP, with the current benchmark global QP solver quadprogBB, as well as with BARON, one of the leading non-linear programming (NLP) solvers, and CPLEX's non-convex QP solver, on a large variety of QP test instances. In practice, quadprogIP is shown to typically outperform by orders of magnitude quadprogBB, BARON, and CPLEX on standard QPs. For general QPs, quadprogIP outperforms quadprogBB, outperforms BARON in most instances, while CPLEX performs the best on these instances. For box-constrained QPs, quadprogIP has a comparable performance to quadprogBB and BARON in small- to medium-scale instances, but is outperformed by these solvers on large-scale instances; while CPLEX performs the best on box-constrained QP instances. Also, unlike quadprogBB, the solution approach proposed here is able to solve QP instances whose dual feasible set is unbounded. The MATLAB code, called quadprogIP, and the instances used to perform these numerical experiments are publicly available at https://github.com/xiawei918/quadprogIP.

研究动机与目标

• 解决全局求解非凸二次规划（QPs）的挑战，其为NP难问题且缺乏多项式时间解法。
• 克服现有方法对有界对偶变量的依赖或在对偶可行集无界时失效的局限性。
• 通过构建有效的MILP重构，使高性能MILP求解器可用于非凸QPs。
• 提供一种方法，在通过扰动线性系统理论施加对偶变量有界的同时，保持所有全局最优原始解。
• 在多样化QPs测试实例上，展示优于领先全局求解器的计算性能。

提出的方法

• 利用其Karush-Kuhn-Tucker（KKT）条件，将非凸QPs重构为线性互补问题（LCP）。
• 使用二值变量和大M约束对互补性约束进行建模，以支持MILP公式化。
• 应用扰动线性系统理论（如Güler et al., 1995）的理论结果，推导出对偶变量的可计算有界值，同时不消除全局最优解。
• 通过限制在包含所有全局最优解的KKT点子集中，确保MILP重构的有效性与有限收敛性。
• 将所得MILP公式化作为输入，交由最先进的MILP求解器处理，以利用其高效性与鲁棒性。
• 在MATLAB中实现该方法，开发出名为quadprogIP的求解器，公开提供测试实例与性能数据。

实验结果

研究问题

• RQ1 非凸QPs能否通过重构为混合整数线性规划（MILPs）实现全局求解，且不丢失全局最优解？
• RQ2 在对偶可行集无界的QPs中，是否可能施加对偶变量的有限有界值，同时保持所有全局最优原始解？
• RQ3 所提出的基于MILP的方法在标准和一般QPs实例上，与quadprogBB、BARON和CPLEX等成熟全局求解器相比，性能如何？
• RQ4 与quadprogBB等先前方法不同，该方法能否处理对偶可行集无界的QP实例？
• RQ5 该方法在不同规模与密度的框约束QPs与一般QPs问题上的可扩展性与效率如何？

主要发现

• 在标准和一般QPs实例上，所提出的quadprogIP求解器相比quadprogBB性能提升达数量级，且在10^4秒时间限制内多解决了9个实例。
• 在CUTEr、Globallib和RandQP测试集上，quadprogIP在多数情况下比BARON求解更快，且能够解决BARON在时间限制内无法求解的大量问题。
• 对于一般QPs，quadprogIP在多数情况下优于quadprogBB和BARON，尽管CPLEX在这些实例上整体仍为最快。
• 在框约束QPs上，quadprogIP在中小型规模实例上与quadprogBB和BARON表现相当，但在大规模实例上表现较差，此时CPLEX再次成为最优选择。
• 与quadprogBB不同，所提出的方法成功求解了对偶可行集无界的QP实例，显著扩展了可求解问题的范围。
• quadprogIP的MATLAB实现及所有测试实例均公开发布于https://github.com/xiawei918/quadprogIP，包含原始性能数据以支持可复现性。