[论文解读] Efficient Inverse Maintenance and Faster Algorithms for Linear Programming

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Mar 5, 2015

Sparse and Compressive Sensing Techniques参考文献 6被引用 9

一句话总结

本文提出了一种新颖的逆维护算法，能够高效求解形式为 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}\vec{x} = \vec{b}$ 的缓慢变化线性系统的序列，利用低秩更新、预条件化和快速矩阵乘法。该算法在线性规划中实现了 $\tilde{O}((\mathrm{nnz}(\mathbf{A})+d^2)\sqrt{d}\log(\epsilon^{-1}))$ 的时间复杂度，显著优于先前的界限。

ABSTRACT

In this paper, we consider the following inverse maintenance problem: given $A \in \mathbb{R}^{n imes d}$ and a number of rounds $r$, we receive a $n imes n$ diagonal matrix $D^{(k)}$ at round $k$ and we wish to maintain an efficient linear system solver for $A^{T}D^{(k)}A$ under the assumption $D^{(k)}$ does not change too rapidly. This inverse maintenance problem is the computational bottleneck in solving multiple optimization problems. We show how to solve this problem with $ ilde{O}(nnz(A)+d^ω)$ preprocessing time and amortized $ ilde{O}(nnz(A)+d^{2})$ time per round, improving upon previous running times for solving this problem. Consequently, we obtain the fastest known running times for solving multiple problems including, linear programming and computing a rounding of a polytope. In particular given a feasible point in a linear program with $d$ variables, $n$ constraints, and constraint matrix $A\in\mathbb{R}^{n imes d}$, we show how to solve the linear program in time $ ilde{O}(nnz(A)+d^{2})\sqrt{d}\log(ε^{-1}))$. We achieve our results through a novel combination of classic numerical techniques of low rank update, preconditioning, and fast matrix multiplication as well as recent work on subspace embeddings and spectral sparsification that we hope will be of independent interest.

研究动机与目标

• 解决优化算法中反复求解涉及 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$ 的缓慢变化线性系统的计算瓶颈。
• 设计一种动态求解器，在 $\mathbf{D}^{(k)}$ 的稳定性假设下，以低摊销成本维护 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$ 的近似逆矩阵。
• 将此逆维护框架应用于加速关键优化问题，包括线性规划、最小费用最大流和多面体采样。
• 通过结合经典数值技术与子空间嵌入和谱稀疏化方面的最新进展，改进线性规划的最先进运行时间。

提出的方法

• 通过低秩更新处理 $\mathbf{D}^{(k)}$ 变化，维护 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$ 的预条件化近似逆矩阵。
• 采用谱稀疏化技术在保持精度的同时减小系统规模，从而实现更快的计算。
• 利用快速矩阵乘法加速核心线性系统的求解，尤其适用于稠密或高维情形。
• 应用预条件化以改善条件数，减少迭代求解器中的迭代次数。
• 该框架支持显式逆矩阵维护，同时也能高效应用于求解 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}\vec{x} = \vec{b}$ 而无需存储逆矩阵。
• 该方法结合了子空间嵌入的最新进展与经典数值方法（如共轭梯度法和矩阵预条件化）。

实验结果

研究问题

• RQ1 当 $\mathbf{D}^{(k)}$ 缓慢变化时，能否在多轮计算中维护针对 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$ 的高效线性系统求解器？
• RQ2 此类动态系统中，预处理成本与摊销更新成本之间的最优权衡是什么？
• RQ3 该逆维护框架能否用于加速线性规划的内点法？
• RQ4 快速矩阵乘法与谱稀疏化在多大程度上可与低秩更新结合以提升求解器性能？
• RQ5 该方法能否扩展至其他优化问题，如最小费用最大流和多面体采样？

主要发现

• 论文实现了 $\tilde{O}(\mathrm{nnz}(\mathbf{A})+d^{\omega})$ 的预处理时间与 $\tilde{O}(\mathrm{nnz}(\mathbf{A})+d^2)$ 的每轮摊销时间，优于先前的界限。
• 对于具有 $n$ 个变量、$d$ 个约束和 $\mathrm{nnz}(\mathbf{A})$ 个非零元素的线性规划问题，该算法在 $\epsilon$-精度下运行时间为 $\tilde{O}((\mathrm{nnz}(\mathbf{A})+d^2)\sqrt{d}\log(\epsilon^{-1}))$。
• 该方法改进了多面体四舍五入计算和多商品流问题的运行时间。
• 对于顶点数为 $|V|$、整数容量与费用有界于 $U$ 的图，获得了 $\tilde{O}(|V|^{2.5}\log^{O(1)}(U))$ 时间的精确最小费用最大流算法。
• 该框架加速了 Dikin 随机游走采样算法中的线性系统求解，但行列式计算仍是瓶颈。
• 作者更正了先前关于提升 Dikin 随机游走性能的错误声明，指出尽管线性系统求解更快，但行列式计算限制了性能增益。