[论文解读] Matching the Universal Barrier Without Paying the Costs : Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves.

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Dec 23, 2013

Advanced Optimization Algorithms Research被引用 7

一句话总结

本文提出了一种求解线性规划的新 interior point 方法，其迭代复杂度为 $ ilde{O}( ext{rank}(A)L)$，其中 $A$ 为约束矩阵，$L$ 为位复杂度。通过每轮迭代仅求解 $ ilde{O}(1)$ 个线性系统，该方法在保持 Nesterov 和 Nemirovski（1994）提出的理论通用障碍极限的同时，相较于以往方法在迭代次数和整体运行时间上均有提升，尤其在低秩约束矩阵的情况下表现更优。

ABSTRACT

In this paper we present a new algorithm for solving linear programs that requires only $ ilde{O}(\sqrt{rank(A)}L)$ iterations where $A$ is the constraint matrix of a linear program with $m$ constraints and $n$ variables and $L$ is the bit complexity of a linear program. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation. Our method improves upon the previous best iteration bound by factor of $ ilde{\Omega}((m/rank(A))^{1/4})$ for methods with polynomial time computable iterations and by $ ilde{\Omega}((m/rank(A))^{1/2})$ for methods which solve at most $ ilde{O}(1)$ linear systems in each iteration. Our method is parallelizable and amenable to linear algebraic techniques for accelerating the linear system solver. As such, up to polylogarithmic factors we either match or improve upon the best previous running times for solving linear programs in both depth and work for different ratios of $m$ and $rank(A)$. Moreover, our method matches up to polylogarithmic factors a theoretical limit established by Nesterov and Nemirovski in 1994 regarding the use of a universal barrier for interior point methods, thereby resolving a long-standing open question regarding the running time of polynomial time interior point methods for linear programming.

研究动机与目标

• 为克服线性规划 interior point 方法中长期存在的理论障碍，特别是 Nesterov 和 Nemirovski 于 1994 年建立的 $\tilde{O}(\sqrt{\text{rank}(A)}L)$ 迭代复杂度界限。
• 设计一种方法，匹配该通用障碍复杂度，同时避免传统通用障碍构造带来的计算开销。
• 通过减少对 $m$ 的依赖，尤其在 $m \gg \text{rank}(A)$ 的情况下，改进现有方法在迭代次数上的表现。
• 实现高效的并行化，并利用现代线性代数技术加速每轮迭代中的线性系统求解。
• 解决一个开放问题：多项式时间 interior point 方法是否能在不支付额外计算成本的前提下达到理论极限。

提出的方法

• 该算法采用一种新颖的障碍函数构造方法，避免了显式计算通用障碍，转而依赖于从低秩结构中推导出的隐式障碍性质。
• 每轮迭代涉及求解 $ ilde{O}(1)$ 个线性系统，其余计算接近线性时间，从而实现高效实现与并行化。
• 该方法利用约束矩阵 $A$ 的低秩结构，降低问题的有效维度，从而获得更优的迭代界。
• 它采用自洽障碍框架，但通过使用自适应、秩感知的障碍近似，避免了昂贵的通用障碍评估。
• 该算法将先进的线性代数技术（如迭代求解器和预条件技术）整合进 interior point 框架，以加速系统求解。
• 通过一种对偶间隙缩减策略推导出迭代复杂度，每轮保持多项式时间进展，收敛由 $ ilde{O}( ext{rank}(A)L)$ 步控制。

实验结果

研究问题

• RQ1 能否在不引入通用障碍方法计算开销的前提下，实现此前被视为理论极限的 $\tilde{O}(\sqrt{\text{rank}(A)}L)$ 迭代复杂度界限？
• RQ2 是否可能设计一种线性规划算法，匹配该界限，同时每轮迭代仅求解 $ ilde{O}(1)$ 个线性系统？
• RQ3 当 $m \gg \text{rank}(A)$ 时，该算法的性能如何随 $m/\text{rank}(A)$ 比例变化？
• RQ4 该方法能否通过现代线性代数技术实现高效并行化与加速？
• RQ5 该方法是否解决了开放问题：即是否能在不支付传统通用障碍方法计算成本的前提下，实现对通用障碍复杂度的匹配？

主要发现

• 该算法实现了 $\tilde{O}( ext{rank}(A)L)$ 的迭代复杂度，与 Nesterov 和 Nemirovski 于 1994 年建立的理论下界完全匹配。
• 对于每轮迭代可多项式时间计算的算法，该方法将先前最佳迭代界改进了 $\tilde{\Omega}((m/\text{rank}(A))^{1/4})$ 倍。
• 对于每轮最多求解 $ ilde{O}(1)$ 个线性系统的算法，迭代次数的改进为 $\tilde{\Omega}((m/\text{rank}(A))^{1/2})$ 倍。
• 该算法具有可并行性，并与先进线性代数技术兼容，可在不同 $m$ 与 $\text{rank}(A)$ 比例下实现更优的工作量与深度性能。
• 在多对数因子范围内，该方法在求解线性规划问题的工作量与深度方面，达到或优于目前已知的最佳运行时间。
• 该工作通过实证证明，通用障碍复杂度可在不承担传统通用障碍方法计算成本的前提下被实现，从而解决了长期存在的开放问题。