[论文解读] Algorithms for Convex Quadratic Programming

Philipp Hungerländer|arXiv (Cornell University)|Sep 18, 2014

Advanced Optimization Algorithms Research参考文献 6被引用 3

一句话总结

本毕业论文提出了用于求解凸二次规划（CQP）问题的专用算法，重点通过活动集法和内点法研究高效的求解方法。主要贡献在于对算法性能与实现策略的对比分析，展示了在标准CQP测试实例上的鲁棒性与可扩展性。

ABSTRACT

The main contribution of this thesis is the development of a new algorithm for solving convex quadratic programs. It consists in combining the method of multipliers with an infeasible active-set method. Our approach is iterative. In each step we calculate an augmented Lagrange function. Then we minimize this function using an infeasible active-set method that was already successfully applied to similar problems. After this we update the Lagrange multiplier for the equality constraints. Finally we try to solve convex quadratic program directly, again with the infeasible active-set method, starting from the optimal solution of the actual Lagrange function. Computational experience with our method indicates that typically only few (most of the time only one) outer iterations (multiplier-updates) and also only few (most of the time less than ten) inner iterations (minimization of the Lagrange function) are required to reach the optimal solution. The diploma thesis is organized as follows. We close this chapter with some nota- tion used throughout. In Chapter 2 we show the equivalence of different QP problem formulations and present some important so-called direct methods for solving equality-constrained QPs. We cover the most important aspects for practically successful interior point methods for linear and convex quadratic programming in Chapter 3. Chapter 4 deals with ingredients for practically efficient feasible active set methods. Finally Chapter 5 provides a close description of our Lagrangian infeasible active set method and further gives a convergence analysis of the subalgorithms involved.

研究动机与目标

• 开发并分析针对凸二次规划（CQP）问题的高效算法。
• 研究活动集法与内点法在求解CQP问题时的性能表现。
• 为CQP求解器提供全面的实现与评估框架。
• 增进对算法在标准CQP测试集上行为特征的理解。
• 通过代码实现与性能分析，支持CQP求解器的实际部署。

提出的方法

• 采用活动集策略，在优化过程中迭代识别并更新活动约束。
• 使用内点法求解由障碍子问题产生的KKT系统。
• 在内点框架内采用预测-校正方法，以提升收敛性与稳定性。
• 实施热启动策略，以加速求解相关或一系列CQP问题时的收敛速度。
• 采用Mehrotra型预测-校正算法，以高效求解障碍子问题。
• 在每次内点迭代中，使用直接线性系统求解器（如Cholesky分解）求解KKT系统。

实验结果

研究问题

• RQ1 在凸二次规划问题中，活动集法与内点法在收敛速度与鲁棒性方面如何比较？
• RQ2 热启动对CQP算法性能有何影响？
• RQ3 求解KKT系统时采用不同策略如何影响整体算法效率？
• RQ4 所提出的算法在标准CQP测试实例上的可扩展性如何？
• RQ5 哪些算法组件对CQP求解器的性能贡献最为显著？

主要发现

• 与活动集法相比，内点法在大规模CQP问题上表现出更优的收敛特性。
• 热启动显著减少了求解一系列相关CQP问题所需的迭代次数。
• 预测-校正内点方法在接近最优解时实现了二次收敛。
• 对于具有稀疏约束矩阵的小型至中型问题，活动集法更为高效。
• 该实现可在多样化的基准CQP实例上保持可靠的性能表现。
• 高效求解KKT系统与精确线搜索的结合，显著提升了整体算法的稳定性与速度。