[论文解读] Large-Scale Quadratically Constrained Quadratic Program via Low-Discrepancy Sequences

Kinjal Basu, Ankan Saha+1 more|arXiv (Cornell University)|Oct 2, 2017

Mathematical Approximation and Integration参考文献 20被引用 5

一句话总结

该论文提出了一种可扩展的方法，通过使用低 discrepancy 序列近似二次约束，将大规模凸二次约束二次规划（QCQP）问题转化为大规模二次规划（QP）问题，从而求解。该方法保持 $ n $ 个变量而非 $ O(n^2) $ 个，可通过 ADMM 或算子分裂高效求解，并具备理论收敛保证，实证结果表明其可扩展至 $ n = 10^6 $，且在近似质量上优于 SDP 和 RLT。

ABSTRACT

We consider the problem of solving a large-scale Quadratically Constrained Quadratic Program. Such problems occur naturally in many scientific and web applications. Although there are efficient methods which tackle this problem, they are mostly not scalable. In this paper, we develop a method that transforms the quadratic constraint into a linear form by sampling a set of low-discrepancy points. The transformed problem can then be solved by applying any state-of-the-art large-scale quadratic programming solvers. We show the convergence of our approximate solution to the true solution as well as some finite sample error bounds. Experimental results are also shown to prove scalability as well as improved quality of approximation in practice.

研究动机与目标

• 为解决现有 QCQP 求解器（特别是 SDP 和 RLT）因 $ O(n^2) $ 变量增长而导致的可扩展性限制。
• 开发一种实用的大规模 QCQP 求解器，在保持计算效率的同时，通过结构化采样确保解的准确性。
• 为所提出的近似方法提供理论收敛性与有限样本误差界。
• 在最多 $ 10^6 $ 个变量的问题上，实证验证该方法的可扩展性与近似质量。
• 证明低 discrepancy 采样在解的精度与可行性方面优于随机采样与均匀采样。

提出的方法

• 通过使用来自低 discrepancy 序列的 $ N $ 个线性约束来近似二次约束，将具有单个二次约束的原始 QCQP 转化为等价的 QP 问题。
• 使用低 discrepancy 序列从由 $ (¹ x - b)^T B (x - b) \leq \tilde{b} $ 定义的可行区域中采样，以确保对约束边界的均匀覆盖。
• 在每个采样点 $ x_i $ 处构建线性约束 $ (x - x_i)^T B (x - x_i) \leq \tilde{b} $，形成对原始二次可行集的多面体外逼近。
• 使用 ADMM 或算子分裂等高效的一阶方法求解所得的大规模 QP 问题，这些方法适用于分布式与大规模计算。
• 使用样本数 $ N = \max(1024, 2^m) $，其中 $ m $ 是满足 $ 2^m \geq 10n $ 的最小整数，以平衡精度与计算成本。
• 理论分析表明，随着 $ N $ 增大，近似误差减小，极限下收敛至真实解，并以 $ g(N) $ 表示显式误差界。

实验结果

研究问题

• RQ1 低 discrepancy 采样能否有效近似 QCQP 中的二次约束，从而通过标准 QP 求解器实现可扩展求解？
• RQ2 随着样本数 $ N $ 增大，近似误差如何衰减？能否在理论上给出误差界？
• RQ3 与 SDP 和 RLT 相比，该方法在大规模问题的可扩展性与解质量方面是否更优？
• RQ4 采样序列的选择（低 discrepancy 与随机或均匀采样）如何影响近似解的精度？
• RQ5 在高维情形（$ n \geq 10^6 $）下，该方法能否保持可行性与近似最优性？

主要发现

• 所提方法可扩展至 $ n = 10^6 $ 个变量，而 SDP 与 RLT 在 $ n \geq 1000 $ 时无法在一小时内收敛。
• 对于 $ n = 10^5 $，当 $ N = 1024 $ 时，方法实现了 $ 1.5 \times 10^{-6} $ 的相对平方误差，显著低于随机采样与均匀采样。
• 随着维度增加而增大 $ N $，相对误差与可行性误差均减小，表明收敛至真实解。
• 可行性误差（定义为 $ \left((x^*(N) - x_0)^T B (x^*(N) - x_0) - \tilde{b}\right)_+ $）随 $ N $ 增大而衰减，表明约束满足性改善。
• 在所有测试维度下，该方法在最小化相对平方误差的对数方面优于随机与均匀采样。
• 理论分析证实，当 $ N \to \infty $ 时，近似解收敛至真实解，且误差存在以 $ g(N) $ 表示的显式上界。