[论文解读] A Deterministic Linear Program Solver in Current Matrix Multiplication Time

Jan van den Brand|arXiv (Cornell University)|Oct 25, 2019

Matrix Theory and Algorithms参考文献 38被引用 9

一句话总结

本论文提出了首个确定性线性规划求解器，其时间复杂度与最优随机化算法相当，达到近似最优的 $\tilde{O}(n^{\tau}\text{log}(n/\delta))$，其中 $\tau$ 为矩阵乘法指数（$\approx 2.38$）。该成果通过引入一种新型数据结构实现，该结构可在 $\varepsilon$-相对更新下以亚二次时间维护关键线性系统的解，从而在不损失效率的前提下，完全去除了Cohen、Lee与Song算法中的随机性。

ABSTRACT

Interior point algorithms for solving linear programs have been studied extensively for a long time [e.g. Karmarkar 1984; Lee, Sidford FOCS'14; Cohen, Lee, Song STOC'19]. For linear programs of the form $\min_{Ax=b, x \ge 0} c^ op x$ with $n$ variables and $d$ constraints, the generic case $d = Ω(n)$ has recently been settled by Cohen, Lee and Song [STOC'19]. Their algorithm can solve linear programs in $ ilde O(n^ω\log(n/δ))$ expected time, where $δ$ is the relative accuracy. This is essentially optimal as all known linear system solvers require up to $O(n^ω)$ time for solving $Ax = b$. However, for the case of deterministic solvers, the best upper bound is Vaidya's 30 years old $O(n^{2.5} \log(n/δ))$ bound [FOCS'89]. In this paper we show that one can also settle the deterministic setting by derandomizing Cohen et al.'s $ ilde{O}(n^ω\log(n/δ))$ time algorithm. This allows for a strict $ ilde{O}(n^ω\log(n/δ))$ time bound, instead of an expected one, and a simplified analysis, reducing the length of their proof of their central path method by roughly half. Derandomizing this algorithm was also an open question asked in Song's PhD Thesis. The main tool to achieve our result is a new data-structure that can maintain the solution to a linear system in subquadratic time. More accurately we are able to maintain $\sqrt{U}A^ op(AUA^ op)^{-1}A\sqrt{U}\:v$ in subquadratic time under $\ell_2$ multiplicative changes to the diagonal matrix $U$ and the vector $v$. This type of change is common for interior point algorithms. Previous algorithms [e.g. Vaidya STOC'89; Lee, Sidford FOCS'15; Cohen, Lee, Song STOC'19] required $Ω(n^2)$ time for this task. [...]

研究动机与目标

• 弥合当前矩阵乘法时间复杂度下随机化与确定性线性规划求解器之间长期存在的差距。
• 对Cohen、Lee与Song（STOC'19）近期提出的 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 随机化算法进行去随机化，该算法此前仅具有期望时间复杂度保证。
• 通过高效维护动态更新下的完整乘积 $\sqrt{U}A^{\text{}}(AUA^{\text{}})^{-1}A\sqrt{U}v$，简化中心路径法的分析。
• 实现确定性线性规划的严格 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 时间复杂度，与目前已知的最佳随机化结果保持一致。

提出的方法

• 提出一种新型数据结构，可在对对角矩阵 $U$ 和向量 $v$ 进行 $\ell_2$-乘法更新时，维护线性系统 $\sqrt{U}A^{\text{}}(AUA^{\text{}})^{-1}A\sqrt{U}v$ 的解。
• 利用Sherman-Morrison-Woodbury恒等式将问题约化为块矩阵求逆，从而复用现有的动态线性系统求解器。
• 采用类似[CLS18]的批量更新与周期性重初始化策略，即使在多次更新下也能保证均摊亚二次更新成本。
• 利用[San04]与[vdBNS19]中的动态线性系统数据结构，并引入重置机制以维持低均摊成本。
• 将新数据结构集成至短步长中心路径法中，用确定性维护投影矩阵-向量乘积替代随机采样。
• 通过确保障碍参数与搜索方向的所有更新均以有界误差确定性计算，实现中心路径算法的去随机化。

实验结果

研究问题

• RQ1 能否在保持相同时间复杂度的前提下，对 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 的随机化线性规划求解器实现去随机化？
• RQ2 是否可能在对 $U$ 和 $v$ 进行 $\ell_2$-乘法更新时，以亚二次时间维护乘积 $\sqrt{U}A^{\text{}}(AUA^{\text{}})^{-1}A\sqrt{U}v$？
• RQ3 能否通过消除随机采样、改用确定性线性系统维护，来简化中心路径法的分析？
• RQ4 是否存在一种确定性线性规划求解器，其时间复杂度与目前已知的最佳随机化算法一致，即 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$？

主要发现

• 本论文实现了时间复杂度为 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 的确定性线性规划求解器，与目前已知的最佳随机化结果一致。
• 新数据结构可在每次更新时以 $\tilde{O}(n^{\omega})$ 时间维护 $\sqrt{U}A^{\text{}}(AUA^{\text{}})^{-1}A\sqrt{U}v$，显著优于此前的 $\tOmega(n^2)$ 上限。
• 去随机化过程通过减少证明长度约一半，简化了中心路径法的分析。
• 该方法实现了严格的时间复杂度上界，而非仅期望时间复杂度，从而解决了确定性内点法去随机化领域长期存在的开放问题。
• 结果表明，在当前矩阵乘法时间复杂度下，确定性算法可与随机化算法达到相同的渐近效率。