[论文解读] An Optimal-Storage Approach to Semidefinite Programming using Approximate Complementarity

Lijun Ding, Alp Yurtsever+3 more|arXiv (Cornell University)|Feb 9, 2019

Advanced Optimization Algorithms Research参考文献 69被引用 12

一句话总结

本文提出了一种存储最优的半定规划（SDP）求解算法，通过利用近似互补性原理：给定一个近似对偶解，原始解位于对偶松弛矩阵的小特征值对应的低维特征子空间中。该方法实现了最优的存储复杂度，并在最小内存下可证明地恢复原始解，尤其适用于弱约束SDP问题。

ABSTRACT

This paper develops a new storage-optimal algorithm that provably solves generic semidefinite programs (SDPs) in standard form. This method is particularly effective for weakly constrained SDPs. The key idea is to formulate an approximate complementarity principle: Given an approximate solution to the dual SDP, the primal SDP has an approximate solution whose range is contained in the eigenspace with small eigenvalues of the dual slack matrix. For weakly constrained SDPs, this eigenspace has very low dimension, so this observation significantly reduces the search space for the primal solution. This result suggests an algorithmic strategy that can be implemented with minimal storage: (1) Solve the dual SDP approximately; (2) compress the primal SDP to the eigenspace with small eigenvalues of the dual slack matrix; (3) solve the compressed primal SDP. The paper also provides numerical experiments showing that this approach is successful for a range of interesting large-scale SDPs.

研究动机与目标

• 开发一种可证明正确且存储最优的半定规划（SDP）求解算法，特别适用于大规模问题，其中标准方法因二次存储成本而不可行。
• 解决从近似对偶解中恢复原始解而无需显式存储完整原始矩阵变量的挑战。
• 建立理论基础——近似互补性——以将原始变量的搜索空间缩减至低维子空间。
• 证明该方法在保持收敛性和精度的同时，实现了最优的存储复杂度。
• 通过数值实验验证，该方法在中等规模问题上的精度和运行时间上优于或匹配现有求解器（如SDPNAL+）

提出的方法

• 提出近似互补性原理：对于任意近似对偶解 $ y $，存在一个原始解 $ X $，其值域包含于对偶松弛矩阵 $ C - abla ilde{ au}^* y $ 的最小特征值对应的特征子空间中。
• 使用最优存储的对偶求解器（如AdaGrad、AccelGrad）计算近似对偶解 $ y $，仅需 $ O(mn) $ 存储空间，其中 $ m $ 为约束数量，$ n $ 为矩阵维度。
• 将原始SDP压缩至对偶松弛矩阵的低维特征子空间，将 $ X $ 的搜索空间缩减为维度 $ r riangleq ext{rank}(X_ullet) $ 的子空间，该维度在弱约束SDP中较小。
• 在低维子空间中使用投影或因子化形式求解压缩后的原始SDP，实现存储复杂度与 $ n $ 线性相关，而非二次相关。
• 应用恢复过程（如算法2）通过迭代方式在压缩子空间中精炼原始解，且在正则性条件下具有收敛性保证。
• 同时使用可行性与目标最小化子问题（如式 MinFeasSDP 和式 MinObjSDP）评估原始解恢复性能，衡量次优性、不可行性及与真实解的距离。

实验结果

研究问题

• RQ1 我们能否设计一种存储最优的SDP求解算法，避免存储完整的 $ n imes n $ 原始矩阵变量？
• RQ2 近似互补性原理是否成立，即对于近似对偶解，原始解是否位于对偶松弛矩阵的低维特征子空间中？
• RQ3 我们能否仅利用对偶解和对偶松弛矩阵的结构，以最优存储复杂度可证明地恢复原始解？
• RQ4 压缩子空间中秩 $ r $ 的选择如何影响原始解恢复的收敛速度和精度？
• RQ5 该方法在中等规模问题上的精度和运行时间上能否与现有SDP求解器（如SDPNAL+）相当或更优？

主要发现

• 所提方法通过将原始变量压缩至对偶松弛矩阵的低维特征子空间，实现了最优存储复杂度，将存储需求从 $ O(n^2) $ 降低至 $ O(nr) $，其中 $ r riangleq ext{rank}(X_ullet) $。
• 对于弱约束SDP（其中 $ m = O(n) $），对偶松弛矩阵具有低秩结构，因此小特征值对应的特征子空间维度为 $ r riangleq ext{rank}(X_ullet) $，从而实现显著压缩。
• 数值实验表明，使用 $ r = r_ullet $（真实秩）或 $ r = 3r_ullet $（更高秩）进行原始解恢复时，次优性、不可行性和与真实解的距离均收敛，且使用更高 $ r $ 时收敛更快。
• 对于中等规模问题（如 $ 10^4 imes 10^4 $），该方法在100秒内达到中等精度（$ 10^{-3} $），精度或运行时间优于或匹配SDPNAL+。
• 对偶求解器（AdaGrad、AdaNGD、AccelGrad）在对偶侧收敛，且原始解恢复在所有指标（次优性、不可行性、与真实解距离）上均保持收敛，尤其在使用 $ r = 3r_ullet $ 时表现更优。
• 理论分析确认，该方法可证明地求解所有正则SDP（满足强对偶性、唯一解、严格互补性），这些条件在一般情况下及许多应用中均成立。