[論文レビュー] Path Finding I :Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Dec 23, 2013

Advanced Optimization Algorithms Research参考文献 4被引用数 12

ひとこと要約

本稿では、各反復で僅か Õ(1) 回の線形システムの解法とほぼ線形の作業量を要する、線形計画法を Õ(√rank(A)) 回の反復で解くための新規内点法を提示する。これは、Nesterov-Nemirovskiのバリア限界に多項対数的要因を除き一致する、初めての理論的に最適な反復回数を達成する。加速された線形システムの解法と前処理を用いることで、実行時間の向上を実現した。

ABSTRACT

In this paper we present a new algorithm for solving linear programs that requires only $ ilde{O}(\sqrt{rank(A)}L)$ iterations to solve a linear program with $m$ constraints, $n$ variables, and constraint matrix $A$, and bit complexity $L$. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation. Our method improves upon the previous best iteration bound by factor of $ ildeΩ((m/rank(A))^{1/4})$ for methods with polynomial time computable iterations and by $ ildeΩ((m/rank(A))^{1/2})$ for methods which solve at most $ ilde{O}(1)$ linear systems in each iteration. Our method is parallelizable and amenable to linear algebraic techniques for accelerating the linear system solver. As such, up to polylogarithmic factors we either match or improve upon the best previous running times in both depth and work for different ratios of $m$ and $rank(A)$. Moreover, our method matches up to polylogarithmic factors a theoretical limit established by Nesterov and Nemirovski in 1994 regarding the use of a "universal barrier" for interior point methods, thereby resolving a long-standing open question regarding the running time of polynomial time interior point methods for linear programming.

研究の動機と目的

• 理論的反復回数の上限 O(√rank(A))L と、既存の多項式時間内点法との間の長年のギャップを埋めること。
• 最適な反復回数を達成しつつ、多項式時間で計算可能な反復を維持するパスフォローリングアルゴリズムを開発すること。
• 制約行列 A が低ランクであっても、1反復あたりの線形システムの解法回数を Õ(1) にまで削減することで、線形計画法の高速化を実現すること。
• nnz(A) に対してほぼ線形の依存性を達成し、さまざまな m および rank(A) の設定において、深さと作業量の複雑さを改善すること。

提案手法

• 収束を制御するため、標準の対数的バリアを適応的重みで変更する新しいパスフォローリング技術「重み付きパス探索」を導入する。
• 条件数と収束速度の制御を可能にするために、比 β = n/m に依存する重み関数を追加した重み付き中央パスを定義する。
• 2つのシステム行列（AᵀS⁻¹WS⁻¹A および AᵀS⁻¹W^αS⁻¹A）間のスペクトル類似性を用いて、解く必要がある異なる線形システムの数を削減する。
• S および W の対角行列に対する前処理と動的更新を適用し、反復間で変化が小さいことを利用することで、システムの解法を加速する。
• 定理30を用いて、1反復あたりの解法時間を amortized Õ(mn^{ω−1}/r + n² + C^ω r^{2ω} + C^{ω−1} n r^ω) に抑える。ここで r は更新のグループサイズである。
• Vaidya (1996) の加速技術および最近の回帰アルゴリズムを用い、nnz(A) に対してほぼ線形の依存性を達成し、全体の実行時間を改善する。

実験結果

リサーチクエスチョン

• RQ1 内点法の反復複雑度を Õ(√rank(A))L まで低下させることは可能か？ これは、1994年に Nesterov と Nemirovski が確立したユニバーサルバリア下限に一致する。
• RQ2 1反復あたり Õ(1) 個の線形システムしか解かない状況で、この最適な反復回数を達成できるか？
• RQ3 多項式時間で計算可能でありながら、nnz(A) に対してほぼ線形の作業量を達成するパスフォローリングアルゴリズムを設計することは可能か？
• RQ4 線形システム行列の動的変化をどのように活用すれば、1反復あたりの平均コストを削減できるか？

主な発見

• アルゴリズムは Õ(√rank(A)L) 回の反復を達成し、1994年に Nesterov と Nemirovski が確立した理論的限界に多項対数的要因を除き一致する。
• 1反復あたり、わずか Õ(1) 個の線形システムの解法と、追加の Õ(nnz(A)) 作業を要し、並列性が高く、効率的である。
• 総実行時間は Õ((nnz(A) + rank(A)^ω)√rank(A)L) であり、固定 n に対して、nnz(A) に対して初めてほぼ線形の依存性を達成した。
• m = Õ(n) の場合、従来の最良実行時間 O(m^{1.5}nL) よりも改善され、一般の線形計画法において、理論的な高速化を達成した。
• 本手法は、線形計画法において、初めて Õ(√rank(A)L) の深さと多項式的作業量を達成したアルゴリズムであり、並列効率を向上させた。
• 重み付きパス探索と動的前処理の使用により、1反復あたりの平均線形システムの解法が高速化され、コストは Õ(mn^{ω−1}/r + n² + β^{−ω}r^{2ω} + β^{−(ω−1)}nr^ω) に抑えられる。