[論文レビュー] A Deterministic Linear Program Solver in Current Matrix Multiplication Time

Jan van den Brand|arXiv (Cornell University)|Oct 25, 2019

Matrix Theory and Algorithms参考文献 38被引用数 9

ひとこと要約

本稿では、現在の行列積時間の枠組みにおいて、最良の確率的アルゴリズムと同等の近似的最適な時間計算量 $\tilde{O}(n^{\tau}\mathrm{log}(n/\delta))$ を達成する、最初の決定的線形計画法ソルバーを提示する。ここで $\tau$ は行列積の指数（$\approx 2.38$）を表す。本稿は、$\varepsilon$-相対的更新のもとで、線形システムの解を二次未塔時間で維持する、新しいデータ構造を導入することで、Cohen, Lee, and Songのアルゴリズムの完全な決定的化を実現し、効率を損なわずに達成している。

ABSTRACT

Interior point algorithms for solving linear programs have been studied extensively for a long time [e.g. Karmarkar 1984; Lee, Sidford FOCS'14; Cohen, Lee, Song STOC'19]. For linear programs of the form $\min_{Ax=b, x \ge 0} c^ op x$ with $n$ variables and $d$ constraints, the generic case $d = Ω(n)$ has recently been settled by Cohen, Lee and Song [STOC'19]. Their algorithm can solve linear programs in $ ilde O(n^ω\log(n/δ))$ expected time, where $δ$ is the relative accuracy. This is essentially optimal as all known linear system solvers require up to $O(n^ω)$ time for solving $Ax = b$. However, for the case of deterministic solvers, the best upper bound is Vaidya's 30 years old $O(n^{2.5} \log(n/δ))$ bound [FOCS'89]. In this paper we show that one can also settle the deterministic setting by derandomizing Cohen et al.'s $ ilde{O}(n^ω\log(n/δ))$ time algorithm. This allows for a strict $ ilde{O}(n^ω\log(n/δ))$ time bound, instead of an expected one, and a simplified analysis, reducing the length of their proof of their central path method by roughly half. Derandomizing this algorithm was also an open question asked in Song's PhD Thesis. The main tool to achieve our result is a new data-structure that can maintain the solution to a linear system in subquadratic time. More accurately we are able to maintain $\sqrt{U}A^ op(AUA^ op)^{-1}A\sqrt{U}\:v$ in subquadratic time under $\ell_2$ multiplicative changes to the diagonal matrix $U$ and the vector $v$. This type of change is common for interior point algorithms. Previous algorithms [e.g. Vaidya STOC'89; Lee, Sidford FOCS'15; Cohen, Lee, Song STOC'19] required $Ω(n^2)$ time for this task. [...]

研究の動機と目的

• 現在の行列積時間の枠組みにおいて、確率的と決定的線形計画法ソルバーの間の長年の格差を埋めること。
• Cohen, Lee, and Song（STOC'19）が提唱した最近の $\tilde{O}(n^{\omega} \text{log}(n/\delta))$ 確率的アルゴリズム（期待時間の境界しか持たない）を、決定的に実装すること。
• 動的更新のもとで、$\sqrt{U}A^{\mathrm{(}}(AUA^{\mathrm{(}})^{-1}A\sqrt{U}v$ の完全積を効率的に維持することで、中心路線法の解析を簡素化すること。
• 決定的線形計画法に、$\tilde{O}(n^{\omega} \text{log}(n/\delta))$ の厳密な時間計算量を達成させ、最もよく知られた確率的境界と一致させること。

提案手法

• 行列積の指数 $\omega$ を用いて、$\ell_2$-乗法的更新がなされる対角行列 $U$ とベクトル $v$ のもとで、線形システム $\sqrt{U}A^{\mathrm{(}}(AUA^{\mathrm{(}})^{-1}A\sqrt{U}v$ の解を維持する、新しいデータ構造を導入する。
• Sherman-Morrison-Woodburyの恒等式を用いてブロック行列の逆行列に還元することで、既存の動的線形システムソルバーを再利用可能にする。
• [CLS18] にインspされたバッチ更新と定期的再初期化戦略を適用し、複数の変更があっても均等化された二次未塔時間の更新コストを保証する。
• [San04] および [vdBNS19] の動的線形システムデータ構造を活用し、低均等化コストを維持するためのリセットメカニズムを強化する。
• 新しいデータ構造をショートステップ中心路線法に統合し、確率的サンプリングの代わりに、射影行列-ベクトル積の決定的維持を実装する。
• 障害関数のパラメータと探索方向のすべての更新を、誤差が有界な決定的計算により行うことで、中心路線アルゴリズムの決定的化を実現する。

実験結果

リサーチクエスチョン

• RQ1 確率的線形計画法ソルバー $\tilde{O}(n^{\omega} \text{log}(n/\delta))$ を、同じ時間計算量を保ちつつ決定的に実装することは可能か？
• RQ2 行列積の指数 $\omega$ を用いて、$U$ と $v$ に対する $\ell_2$-乗法的更新のもとで、積 $\sqrt{U}A^{\mathrm{(}}(AUA^{\mathrm{(}})^{-1}A\sqrt{U}v$ を二次未塔時間で維持することは可能か？
• RQ3 確率的サンプリングを排除し、線形システムの決定的維持に置き換えることで、中心路線法の解析を簡素化することは可能か？
• RQ4 決定的線形計画法ソルバーが、$\tilde{O}(n^{\omega} \text{log}(n/\delta))$ の時間計算量を達成でき、最もよく知られた確率的アルゴリズムと一致するものがあるか？

主な発見

• 本稿では、$\tilde{O}(n^{\omega} \text{log}(n/\delta))$ の時間計算量を達成する決定的線形計画法ソルバーを実現し、最もよく知られた確率的境界と一致している。
• 新しいデータ構造は、$\tilde{O}(n^{\omega})$ 時間で $\sqrt{U}A^{\mathrm{(}}(AUA^{\mathrm{(}})^{-1}A\sqrt{U}v$ を更新可能であり、従来の $\Omega(n^2)$ の境界を著しく上回っている。
• 決定的化により、中心路線法の解析が簡素化され、証明の長さが約半分に短縮された。
• 本アプローチにより、期待時間の境界ではなく、厳密な時間境界が得られ、内点法の決定的化における長年の未解決問題が解決された。
• 結果として、現在の行列積時間の枠組みにおいて、決定的アルゴリズムが確率的アルゴリズムと同等の漸近的効率を達成できることを確認した。