[论文解读] A Faster Small Treewidth SDP Solver

Yuzhou Gu, Zhao Song|arXiv (Cornell University)|Nov 11, 2022

Advanced Optimization Algorithms Research被引用 4

一句话总结

本文提出了一种新颖的算法，用于在变量数量上线性时间内求解小树宽的半定规划（SDP），时间复杂度为 $ O(n \cdot \tau^{2\omega + 0.5} \log(1/\epsilon)) $，其中 $ \omega $ 为矩阵乘法指数，$ \tau $ 为树宽。该方法还将低树宽线性规划的运行时间提升至 $ O(n \cdot \tau^{(\omega+1)/2} \log(1/\epsilon)) $，这是在该设定下首次实现近乎线性时间的 SDP 求解器。

ABSTRACT

Semidefinite programming is a fundamental tool in optimization and theoretical computer science. It has been extensively used as a black-box for solving many problems, such as embedding, complexity, learning, and discrepancy. One natural setting of semidefinite programming is the small treewidth setting. The best previous SDP solver under small treewidth setting is due to Zhang-Lavaei '18, which takes $n^{1.5} τ^{6.5}$ time. In this work, we show how to solve a semidefinite programming with $n imes n$ variables, $m$ constraints and $τ$ treewidth in $n τ^{2ω+0.5}$ time, where $ω< 2.373$ denotes the exponent of matrix multiplication. We give the first SDP solver that runs in time in linear in number of variables under this setting. In addition, we improve the running time that solves a linear programming with tau treewidth from $n τ^2$ (Dong-Lee-Ye '21) to $n τ^{(ω+1)/2}$.

研究动机与目标

• 解决一个开放问题：小树宽的半定规划是否能在变量数量上近乎线性时间内求解。
• 在小树宽设定下，超越先前已知的最佳 SDP 求解器，后者运行时间为 $ n^{1.5} \tau^{6.5} $。
• 将该改进扩展至低树宽线性规划，突破此前的 $ n\tau^2 $ 限制。
• 通过利用树宽结构并结合内点法中的先进矩阵乘法技术来实现上述目标。

提出的方法

• 该算法基于 SDP 图的树分解，提出一种新颖的 SDP 问题分解方式，利用低树宽特性以降低计算复杂度。
• 采用针对树宽结构定制的障碍函数与中心路径方法，避免了先前方法中 $ \Omega(m^\omega) $ 的性能瓶颈。
• 该方法在树分解节点上引入递归的舒尔补计算，每节点的矩阵运算复杂度被控制在 $ \widetilde{O}(\tau^{\omega}) $ 以内。
• 通过约束与变量的分层聚类，保持稀疏性，并利用低秩更新实现高效的矩阵求逆。
• 该算法整合了对条件数及其缩减的精细化分析，以确保快速收敛。
• 通过在树分解上结合动态规划与快速矩阵乘法，实现 $ \widetilde{O}(n \cdot \tau^{2\omega + 0.5}) $ 的运行时间。

实验结果

研究问题

• RQ1 小树宽的半定规划是否能在变量数量上线性时间内求解？
• RQ2 是否能将树宽的指数依赖降低至 $ \tau^6 $ 以下，特别是降至 $ \tau^{2\omega + 0.5} $？
• RQ3 这些结构洞见是否可应用于改进低树宽线性规划的运行时间？
• RQ4 在小树宽条件下，即使矩阵乘法指数 $ \omega \approx 2.373 $，是否仍可实现 SDP 的近乎线性时间求解？

主要发现

• 本文实现了 $ O(n \cdot \tau^{2\omega + 0.5} \log(1/\epsilon)) $ 的 SDP 求解器运行时间，对 $ n $ 呈线性依赖，优于先前的 $ n^{1.5} \tau^{6.5} $ 限制。
• 该算法是在标准线性无关假设下，首个实现小树宽 SDP 问题近乎线性时间求解的算法。
• 对于低树宽线性规划，运行时间被优化至 $ O(n \cdot \tau^{(\omega+1)/2} \log(1/\epsilon)) $，超越了此前的 $ n\tau^2 $ 限制。
• 该改进依赖于对树分解内矩阵运算的全新分析，将每节点的有效成本降低至 $ \widetilde{O}(\tau^{\omega}) $。
• 通过利用稀疏性与树宽结构，该方法避免了先前内点法中 $ \Omega(m^\omega) $ 的依赖。
• 结果在对数因子与矩阵乘法指数方面已达到紧致性，明确体现了对当前最佳已知指数 $ \omega $ 的依赖。