[论文解读] Solving Tall Dense Linear Programs in Nearly Linear Time

Jan van den Brand, Yin Tat Lee+2 more|arXiv (Cornell University)|Feb 6, 2020

Sparse and Compressive Sensing Techniques参考文献 62被引用 11

一句话总结

该论文提出了一种随机化算法，可在近乎线性时间内求解高瘦稠密线性规划问题，以高概率实现 $\tilde{O}(nd + d^3)$ 的运行时间。该算法引入了一种鲁棒的原始-对偶内点法，迭代次数为 $\tilde{O}(d)$，利用重头数据结构、Johnson–Lindenstrauss 投影和逆矩阵维护技术，在不使用快速矩阵乘法的前提下，仍能保持稠密问题的近似最优性。

ABSTRACT

In this paper we provide an $ ilde{O}(nd+d^{3})$ time randomized algorithm for solving linear programs with $d$ variables and $n$ constraints with high probability. To obtain this result we provide a robust, primal-dual $ ilde{O}(\sqrt{d})$-iteration interior point method inspired by the methods of Lee and Sidford (2014, 2019) and show how to efficiently implement this method using new data-structures based on heavy-hitters, the Johnson-Lindenstrauss lemma, and inverse maintenance. Interestingly, we obtain this running time without using fast matrix multiplication and consequently, barring a major advance in linear system solving, our running time is near optimal for solving dense linear programs among algorithms that do not use fast matrix multiplication.

研究动机与目标

• 为求解稠密、高瘦线性规划问题的运行时间差距提供填补，特别是在 $n = \tilde{\Theta}(d^2)$ 或更多时。
• 开发一种运行时间接近线性且不依赖快速矩阵乘法的线性规划求解器。
• 在不使用快速矩阵乘法的前提下，实现 $\tilde{O}(nd + d^3)$ 的运行时间，与目前已知的最佳回归算法保持一致。
• 提供一种稳定且可实现的原始-对偶内点法，迭代次数为 $\tilde{O}(d)$，避免复杂的 $\ell_p$-Lewis 权重计算。

提出的方法

• 设计一种鲁棒的原始-对偶内点法（IPM），迭代次数为 $\tilde{O}(d)$，受 Lee 和 Sidford（2014, 2019）的启发，使用 $\ell_2$ 权重分数而非一般的 $p$-范数 Lewis 权重。
• 采用基于 $\ell_2$-重头数据结构的向量数据结构，以高效维护和更新 IPM 迭代过程中的原始和对偶迭代值。
• 使用 Johnson–Lindenstrauss 投影技术，以维护近似矩阵乘积并检测向量更新中的大值项，从而实现高效的稀疏恢复。
• 提出一种结合权重分数提示的逆矩阵维护技术，以高效更新 IPM 中的逆矩阵，降低每次迭代的开销。
• 利用一种新颖的数据结构，用于维护累积和并检测权重分数的变化，实现低开销的动态更新。
• 将上述组件整合为完整算法，通过控制牛顿步长、海森矩阵更新和可行性校正的总成本，实现 $\tilde{O}(nd + d^3)$ 的时间复杂度。

实验结果

研究问题

• RQ1 能否设计一种线性规划求解器，在不依赖快速矩阵乘法的前提下，实现稠密、高瘦问题的近乎线性时间复杂度？
• RQ2 是否可能设计一种稳定、原始-对偶的内点法，其迭代次数为 $\tilde{O}(d)$，且避免复杂的 $p$-范数 Lewis 权重计算？
• RQ3 能否利用重头数据结构和投影技术，在内点法中高效维护关键量（如原始-对偶迭代值和矩阵逆）？
• RQ4 在实现稠密线性规划的近乎线性时间时，$n$ 与 $d$ 之间的最优权衡是什么？
• RQ5 能否通过快速矩阵乘法将运行时间中的 $d^3$ 项降低至 $d^\omega$，或者 $d^3$ 是否在非快速乘法算法中已接近最优？

主要发现

• 该算法以高概率在 $\tilde{O}(nd + d^3)$ 时间内求解具有 $d$ 个变量和 $n$ 个约束的线性规划问题，对稠密、高瘦矩阵实现了近乎线性时间复杂度。
• 该方法仅使用 $\tilde{O}(d)$ 次内点法迭代，显著优于以往在不使用快速矩阵乘法时的 $\tilde{O}(d^{2.5})$ 迭代界。
• 通过避免快速矩阵乘法，该算法在非快速乘法算法中实现了近似最优性能，除非线性系统求解技术出现重大突破。
• 使用 $\ell_2$ 权重分数和重头数据结构简化了内点法，相比依赖 $p$-范数权重的先前方法，提高了稳定性和实用性。
• 逆矩阵维护和权重分数维护组件被证明是高效的，其期望成本被限制在 $O(K \log^2 n)$ 以内，其中 $K$ 为迭代次数。
• 该算法在不使用快速矩阵乘法的前提下，达到了稠密线性回归的最佳已知运行时间，为稠密线性规划建立了新的基准。