[论文解读] An ADMM algorithm for solving a proximal bound-constrained quadratic program

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Dec 29, 2014

Sparse and Compressive Sensing Techniques参考文献 9被引用 3

一句话总结

该论文提出了一种基于ADMM的高效算法，用于求解一类在近端算子中出现的边界约束二次规划（QPs），特别适用于Hessian矩阵在多个问题间共享的情况。通过重用矩阵的缓存Cholesky分解并利用问题的结构，该方法实现了快速收敛和低成本的每次迭代更新，从而能够高性能地求解大规模此类QPs集合——例如，在标准PC上不到1秒内求解60,000个32维的QPs。

ABSTRACT

We consider a proximal operator given by a quadratic function subject to bound constraints and give an optimization algorithm using the alternating direction method of multipliers (ADMM). The algorithm is particularly efficient to solve a collection of proximal operators that share the same quadratic form, or if the quadratic program is the relaxation of a binary quadratic problem.

研究动机与目标

• 开发一种快速且可扩展的算法，用于求解一类共享相同对称正定/半定矩阵A的边界约束二次规划（QPs）家族。
• 利用优化中近端算子的结构，特别是在二值哈希的背景下，其中松弛子问题呈现为具有固定A的QPs形式。
• 通过在迭代和问题之间重用A+ρI的Cholesky分解，实现对N个此类QPs的高效求解。
• 提供一种具有收敛性保证、无需线搜索且每次迭代成本低的方法，适用于高维或大规模场景。

提出的方法

• 该算法使用增广拉格朗日乘子法（ADMM）通过引入辅助变量和对偶变量来求解QP，将问题重新表述为一致性形式。
• x-更新步骤求解涉及矩阵A+ρI的线性系统，该矩阵通过Cholesky分解预先分解，以便在迭代和问题之间重用。
• z-更新步骤对盒式约束[l,u]执行简单投影，通过逐元素截断实现：z = max(l, min(u, x + ζ))。
• 对偶变量更新以缩放形式执行：ζ ← ζ + x - z，确保无需线搜索即可收敛。
• 该方法实现向量化处理，当边界和矩阵A在多个问题间相同时，可同时处理多个QPs，从而在MATLAB中提升计算效率。
• 对于大规模或稀疏问题，该方法支持通过共轭梯度等迭代求解器实现非精确求解，并采用热启动和预条件化技术。

实验结果

研究问题

• RQ1 如何高效求解大量共享相同Hessian矩阵A但线性项和边界不同的边界约束二次规划？
• RQ2 在目标函数包含强凸项和盒式约束的情况下，最有效利用近端算子结构的方法是什么？
• RQ3 ADMM能否被适配用于求解此类QPs，以保证收敛性并实现最小的每次迭代计算开销？
• RQ4 惩罚参数ρ对收敛速度有何影响？如何为二次规划最优选择ρ？
• RQ5 在实际应用中如何实现高性能，特别是在二值哈希等场景中求解数千个此类QPs？

主要发现

• 通过缓存A+ρI的Cholesky分解，该算法实现了高性能，将每次x-更新的成本降低至稠密矩阵的O(D²)，稀疏矩阵则可能降至O(D)。
• 对于60,000个D=32维的QPs（A为稠密矩阵），该算法在标准PC上约1秒内即以高精度求解全部问题。
• 该方法在早期迭代中收敛迅速，但后期收敛速度减缓——这与ADMM的典型行为一致，但因每次迭代成本极低，可通过大量迭代实现高精度解。
• 当QPs嵌入更大优化框架中时，使用前一轮外循环的热启动可显著提升收敛速度。
• 最优惩罚参数ρ可基于最新理论指导估计为ρ* = √(σ_min * σ_max)，其中σ_min和σ_max分别为A的最小和最大非零特征值。
• 该算法具有鲁棒性和可扩展性：支持稠密和稀疏矩阵，并可通过独立求解每个QPs实现高效并行或分布式计算。