[论文解读] DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming

Ion Necoara, Andrei Pătraşcu|arXiv (Cornell University)|Apr 22, 2015

Advanced Optimization Algorithms Research参考文献 7被引用 4

一句话总结

本论文提出 DuQuad，一种用于凸二次规划（QP）的 C 语言实现，采用增广拉格朗日松弛法处理复杂约束的不精确对偶一阶算法。通过仅依赖矩阵-向量乘积，该方法实现了低迭代复杂度和低内存占用，在某些问题上优于最先进求解器，原因在于高效的不精确梯度计算以及与动态 Matlab 接口的集成，便于测试与分析。

ABSTRACT

In this paper we present the solver DuQuad specialized for solving general convex quadratic problems arising in many engineering applications. When it is difficult to project on the primal feasible set, we use the (augmented) Lagrangian relaxation to handle the complicated constraints and then, we apply dual first order algorithms based on inexact dual gradient information for solving the corresponding dual problem. The iteration complexity analysis is based on two types of approximate primal solutions: the primal last iterate and an average of primal iterates. We provide computational complexity estimates on the primal suboptimality and feasibility violation of the generated approximate primal solutions. Then, these algorithms are implemented in the programming language C in DuQuad, and optimized for low iteration complexity and low memory footprint. DuQuad has a dynamic Matlab interface which make the process of testing, comparing, and analyzing the algorithms simple. The algorithms are implemented using only basic arithmetic and logical operations and are suitable to run on low cost hardware. It is shown that if an approximate solution is sufficient for a given application, there exists problems where some of the implemented algorithms obtain the solution faster than state-of-the-art commercial solvers.

研究动机与目标

• 开发一种轻量级、高效的凸二次规划（QP）求解器，适用于低成本硬件。
• 通过（增广）拉格朗日松弛法解决投影到复杂原始可行集的挑战。
• 实现使用不精确对偶梯度信息的对偶一阶方法，确保在计算近似情况下的收敛性。
• 仅依赖基本算术和矩阵-向量乘积，以最小化计算复杂度和内存占用。
• 提供一个实用的开源工具，配备动态 Matlab 接口，便于基准测试和算法分析。

提出的方法

• 应用（增广）拉格朗日松弛法，将困难的原始约束转化为具有简单约束的对偶子问题。
• 在对偶一阶算法中使用不精确的对偶梯度信息，收敛性分析基于原始最后迭代解和平均原始迭代解。
• 使用基本算术和矩阵-向量乘法在 C 语言中实现该算法，以确保低内存和计算成本。
• 通过 MEX 文件与 Matlab 集成，以支持算法的动态测试、比较和性能分析。
• 通过高效的稀疏矩阵-向量乘法，优化稀疏 QP 问题的低迭代复杂度和可扩展性。
• 使用 gprof 性能分析工具验证矩阵-向量乘积主导执行时间，确认算法设计聚焦于这些操作的合理性。

实验结果

研究问题

• RQ1 不精确对偶一阶方法结合（增广）拉格朗日松弛法是否能在凸 QP 问题中实现低迭代复杂度和低内存占用？
• RQ2 在中小规模稠密 QP 问题上，不精确对偶梯度方法的性能与 Cplex 和 Gurobi 等商业求解器相比如何？
• RQ3 使用原始最后迭代解与平均原始迭代解对收敛性和次优性有何影响？
• RQ4 仅使用稀疏矩阵-向量乘积，该算法是否能在稀疏 QP 问题上保持快速收敛和低内存占用？
• RQ5 动态 Matlab 接口在实践中如何促进算法的测试、比较和分析？

主要发现

• DuQuad 表现具有竞争力，DFGM 在具有等式约束和半正定 Hessian 矩阵的 QP 问题上表现与 Cplex 和 Gurobi 相当。
• DGM 和 DFGM 的迭代次数在不同问题规模下保持相对稳定，表明对问题规模的依赖性较弱。
• 在迭代次数方面，使用原始最后迭代解的对偶一阶方法优于使用迭代平均值的方法。
• 性能分析确认矩阵-向量乘积主导执行时间，验证了算法设计聚焦于这些操作的合理性。
• 实现仅使用基本算术和矩阵-向量乘积，使其适用于低成本硬件和嵌入式系统。
• 在某些问题上，DuQuad 获得解的速度快于最先进的商业求解器，尤其在可接受近似解时表现更优。