[論文レビュー] Matching the Universal Barrier Without Paying the Costs : Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves.

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|Dec 23, 2013

Advanced Optimization Algorithms Research被引用数 7

ひとこと要約

本稿では、制約行列 $A$ とビット複雑性 $L$ を用いて、$ ilde{O}( ext{rank}(A)^{1/2}L)$ の反復複雑度を達成する線形計画法の新しい内点法を提示する。各反復で $ ilde{O}(1)$ 個の線形システムを解くことで、ネステロフとネミロフスキー（1994年）が確立した理論的普遍バリア限界に一致しつつ、特に低ランクの制約行列に対して、反復回数と全体の実行時間の両面で従来の手法を改善する。

ABSTRACT

In this paper we present a new algorithm for solving linear programs that requires only $ ilde{O}(\sqrt{rank(A)}L)$ iterations where $A$ is the constraint matrix of a linear program with $m$ constraints and $n$ variables and $L$ is the bit complexity of a linear program. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation. Our method improves upon the previous best iteration bound by factor of $ ilde{\Omega}((m/rank(A))^{1/4})$ for methods with polynomial time computable iterations and by $ ilde{\Omega}((m/rank(A))^{1/2})$ for methods which solve at most $ ilde{O}(1)$ linear systems in each iteration. Our method is parallelizable and amenable to linear algebraic techniques for accelerating the linear system solver. As such, up to polylogarithmic factors we either match or improve upon the best previous running times for solving linear programs in both depth and work for different ratios of $m$ and $rank(A)$. Moreover, our method matches up to polylogarithmic factors a theoretical limit established by Nesterov and Nemirovski in 1994 regarding the use of a universal barrier for interior point methods, thereby resolving a long-standing open question regarding the running time of polynomial time interior point methods for linear programming.

研究の動機と目的

• 線形計画法における内点法の長年の理論的障壁、特にネステロフとネミロフスキー（1994年）が確立した $ ilde{O}( ext{rank}(A)^{1/2}L)$ の反復複雑度の上限を克服すること。
• 従来の普遍バリア構築の計算コストを負担せずに、この普遍バリア複雑度に一致する方法を設計すること。
• 特に $m \gg \text{rank}(A)$ のような状況において、反復回数を改善し、$m$ への依存を低減すること。
• 各反復内での線形システムの高速解法に、現代の線形代数技術を活用し、並列化を効率的に行えるようにすること。
• 多項式時間内点法が、追加の計算コストを支払わずに理論的限界に達成可能かどうかという未解決の問題を解消すること。

提案手法

• 低ランク構造から導かれる暗黙のバリア性質に依存し、明示的な普遍バリア計算を回避する、新しいバリア関数構築法を用いる。
• 各反復で $ ilde{O}(1)$ 個の線形システムを解くが、残りの計算はほぼ線形時間で実行可能であり、効率的実装と並列化を可能にする。
• 制約行列 $A$ の低ランク構造を活用して、問題の有効次元を低減し、反復境界の改善を実現する。
• 自己調和バリアフレームワークを採用するが、高価な普遍バリア評価を回避するため、適応的でランクに配慮したバリア近似を用いる。
• 反復内のシステム解法を高速化するために、反復的ソルバーやプリコンディショニングといった高度な線形代数技術を内点法フレームワークに統合する。
• 反復複雑度は、双対ギャップの低減戦略により導出され、各反復で多項式時間の進捗を維持する。収束は $ ilde{O}( ext{rank}(A)^{1/2}L)$ ステップで制御される。

実験結果

リサーチクエスチョン

• RQ1 従来、理論的限界とされてきた $ ilde{O}( ext{rank}(A)^{1/2}L)$ の反復複雑度の上限が、普遍バリア法の計算オーバーヘッドを伴わずに達成可能かどうか。
• RQ2 各反復で $ ilde{O}(1)$ 個の線形システムを解くだけで、この上限に一致する線形計画法アルゴリズムを設計可能かどうか。
• RQ3 特に $m \gg \text{rank}(A)$ の場合に、$m/\text{rank}(A)$ の比に応じてアルゴリズムの性能がどのようにスケーリングするか。
• RQ4 現代の線形代数技術を用いて、並列化や高速化が可能かどうか。
• RQ5 このアプローチにより、普遍バリア複雑度が、関連する計算コストを支払わずに達成可能かどうかという未解決の問題が解消されるか。

主な発見

• アルゴリズムは $ ilde{O}( ext{rank}(A)^{1/2}L)$ の反復複雑度を達成し、ネステロフとネミロフスキー（1994年）が確立した理論的下限に一致する。
• 多項式時間で計算可能な反復を持つ手法に対して、反復回数の上限を $ ilde{\Omega}((m/\text{rank}(A))^{1/4})$ の要因で改善する。
• 各反復で高々 $ ilde{O}(1)$ 個の線形システムを解く手法では、反復回数の改善が $ ilde{\Omega}((m/\text{rank}(A))^{1/2})$ に達する。
• アルゴリズムは並列化可能であり、高度な線形代数技術と互換性があり、$m$ と $ ext{rank}(A)$ の比にかかわらず、作業量と深さの両面で性能向上を実現する。
• 多項対数的要因を除けば、線形計画法を解く際の、作業量と深さの両面で、既存の最良の実行時間に匹敵またはそれを上回る。
• 長年の未解決問題を解決し、従来の普遍バリア法に伴う計算コストを負担せずに、普遍バリア複雑度に達成可能であることを実証した。