[論文レビュー] Solving Linear Programs with Sqrt(rank) Linear System Solves

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Oct 17, 2019

Complexity and Algorithms in Graphs参考文献 55被引用数 28

ひとこと要約

本稿では、各反復で僅か Õ(1) 回の線形方程式系の解法とほぼ線形時間の作業を要する Õ(√rank(A)) 回の反復で線形計画問題を解く、新規な内点法を提示する。本手法は、Nesterov と Nemirovski が示した理論的反復回数の上限と対数的要因を除いて一致する、初めての Õ(rank(A))-自己調和バリアを、多項式時間で計算可能なものとして達成する。

ABSTRACT

We present an algorithm that given a linear program with $n$ variables, $m$ constraints, and constraint matrix $A$, computes an $ε$-approximate solution in $ ilde{O}(\sqrt{rank(A)}\log(1/ε))$ iterations with high probability. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation, improving by a factor of $ ildeΩ((m/rank(A))^{1/2})$ over the previous fastest method with this iteration cost due to Renegar (1988). Further, we provide a deterministic polynomial time computable $ ilde{O}(rank(A))$-self-concordant barrier function for the polytope, resolving an open question of Nesterov and Nemirovski (1994) on the theory of "universal barriers" for interior point methods. Applying our techniques to the linear program formulation of maximum flow yields an $ ilde{O}(|E|\sqrt{|V|}\log(U))$ time algorithm for solving the maximum flow problem on directed graphs with $|E|$ edges, $|V|$ vertices, and integer capacities of size at most $U$. This improves upon the previous fastest polynomial running time of $O(|E|\min\{|E|^{1/2},|V|^{2/3}\}\log(|V|^{2}/|E|)\log(U))$ achieved by Goldberg and Rao (1998). In the special case of solving dense directed unit capacity graphs our algorithm improves upon the previous fastest running times of $O(|E|\min\{|E|^{1/2},|V|^{2/3}\})$ achieved by Even and Tarjan (1975) and Karzanov (1973) and of $ ilde{O}(|E|^{10/7})$ achieved more recently by Mądry (2013).

研究の動機と目的

• 理論的反復回数 Õ(√rank(A)) と、実用的な内点法がより多くの反復を要するというギャップを埋めること。
• ランク-r 行列によって定義される多面体に対して、多項式時間で計算可能な自己調和バリアを構築することにより、Nesterov と Nemirovski が提起した未解決問題を解決すること。
• 最適な反復回数を達成しながら、特に線形方程式系の解法回数を低く抑えるアルゴリズムを設計すること。
• 内点法、ℓp ルイス重み、高速線形方程式系ソルバーの間の新たな関係を確立し、アルゴリズム的効率を向上させること。

提案手法

• 多面体 {x : Ax ≥ b} の自己調和バリア関数 ψ を構築するために、q = Θ(log m) の ℓq ルイス重みを利用する。
• 行列 Aₓ = diag(Ax - b) 及びそのルイス重み wₓ を用いて、O(n log⁵ m)-自己調和性を持つバリア ψ を構築する。
• ∇²ψ(x) ≈ AₓᵀWₓAₓᵀ を満たすように、ヘッセ行列の近似を可能にする新規なバリア構築法を採用する。
• 初期重みの計算と更新に、Õ(mn^{ω−1/2}) の作業量と Õ(√n log⁴ m) の深さを有する高速アルゴリズムを用いる。
• 摂動境界を介して誤差を制御する近似線形方程式系ソルバーを適用し、不正確な解法であっても収束を保証する。
• 最新の回帰および線形方程式系ソルバー技術を統合し、近似的に最適な実行時間 Õ((nnz(A) + rank(A)^ω)√rank(A) log(1/ε)) を達成する。

実験結果

リサーチクエスチョン

• RQ1 一般の多面体に対して、理論的反復回数 Õ(√rank(A)) と一致する多項式時間で計算可能な自己調和バリアを構築することは可能か？
• RQ2 最適な反復回数を維持しつつ、1反復あたりの線形方程式系の解法回数を Õ(1) に削減することは可能か？
• RQ3 ℓp ルイス重みは、内点法における効率的で多項式時間で計算可能なバリアを構築するために果たす役割は何か？
• RQ4 本アルゴリズムは、最大流問題を Õ(|E|√|V| log U) 時間で解けるように拡張可能か？ これにより、従来の境界を改善できるか？
• RQ5 近似線形方程式系の解法を用いる場合、収束性能が劣化しないようにするにはどのような誤差境界が必要か？

主な発見

• 本稿は、Nesterov と Nemirovski (1994) が提起した未解決問題を解決し、多面体 {x : Ax ≥ b} に対して、初めての多項式時間で計算可能な Õ(rank(A))-自己調和バリアを構築した。
• 本アルゴリズムは、任意の線形計画問題の ε-近似解を Õ(√rank(A) log(1/ε)) 回の反復で計算可能であり、各反復で Õ(1) 回の線形方程式系の解法と Õ(nnz(A)) の追加作業を要する。
• 最大流問題に対しては、Õ(|E|√|V| log U) 時間のアルゴリズムが得られ、従来の最良の O(|E| min{|E|^{1/2}, |V|^{2/3}} log(|V|²/|E|) log U) の境界を改善する。
• 密度の高いユニット容量グラフでは、Mądry (2013) が提唱した従来の最良の Õ(|E|^{10/7}) 時間の境界を上回る。
• 最新の回帰および線形方程式系ソルバーを用いることで、Õ((nnz(A) + rank(A)^ω)√rank(A) log(1/ε)) の実行時間を達成する。
• 本手法は並列化可能であり、PRAMモデルで多項式作業量と最適な深さ Õ(√rank(A) log(1/ε)) を達成する。これは、最適な深さと作業量を併せ持つ最初のアルゴリズムである。