[論文レビュー] Solving Linear Programs in the Current Matrix Multiplication Time

Michael B. Cohen, Yin Tat Lee+1 more|arXiv (Cornell University)|Oct 18, 2018

Stochastic Gradient Optimization Techniques参考文献 44被引用数 21

ひとこと要約

本稿では、線形計画法を時間 $ O^*(n^\rho \mathrm{poly}(\log(n/\rho))) $ で解く、新しい確率的中央パス手法を提示する。ここで $ \rho = \min(\omega, 2.5 - \alpha/2, 2 + 1/6) $ であり、$ \omega $ は行列乗算の指数、$ \alpha $ はその双対である。この手法は、$ \ell_2 $-乗法的重み更新の下で射影行列を維持し、各反復で唯一 $ \widetilde{O}(\sqrt{n}) $ 個の座標を更新することで、近似的に最適な総座標更新回数を達成する。

ABSTRACT

This paper shows how to solve linear programs of the form $\min_{Ax=b,x\geq0} c^ op x$ with $n$ variables in time $$O^*((n^ω+n^{2.5-α/2}+n^{2+1/6}) \log(n/δ))$$ where $ω$ is the exponent of matrix multiplication, $α$ is the dual exponent of matrix multiplication, and $δ$ is the relative accuracy. For the current value of $ω\sim2.37$ and $α\sim0.31$, our algorithm takes $O^*(n^ω \log(n/δ))$ time. When $ω= 2$, our algorithm takes $O^*(n^{2+1/6} \log(n/δ))$ time. Our algorithm utilizes several new concepts that we believe may be of independent interest: $\bullet$ We define a stochastic central path method. $\bullet$ We show how to maintain a projection matrix $\sqrt{W}A^{ op}(AWA^{ op})^{-1}A\sqrt{W}$ in sub-quadratic time under $\ell_{2}$ multiplicative changes in the diagonal matrix $W$.

研究の動機と目的

• 一般線形計画法を解く際の長年の $ O^*(n^{2.5}) $ の実行時間の壁を打ち破ること。これは1989年のVaidyaの結果以来、解けなかったものである。
• 行列乗算の複雑さの進歩を活用し、特に密行列に対して高速な線形計画法アルゴリズムを達成すること。
• 座標更新回数を減らしながらも収束保証を維持できる、確率的内点法を設計すること。
• $ \ell_2 $-乗法的重み変更の下で射影行列を二次未満の時間で維持するための新フレームワークを開発すること。
• 線形計画法の自然な実行時間の限界を、線形方程式系を解く最良の時間と一致させる。

提案手法

• 各反復で座標更新回数を $ O(n) $ から $ \widetilde{O}(\sqrt{n}) $ に削減する確率的中央パス手法を導入。同時に $ O^*(\sqrt{n}) $ の総反復回数を維持する。
• $ \ell_2 $-乗法的重み更新の下で射影行列 $ \sqrt{W}A^\top (AWA^\top)^{-1} A\sqrt{W} $ を二次未満の時間で維持する技術を開発。
• 収束を制御するためのポテンシャル関数 $ \psi $ を用いる。この関数は対称的であり、$ |x| $ に関して非減少で、導関数と2階微分係数が有界である。
• スケッチに基づくアプローチを用いて、各反復で唯一 $ \widetilde{O}(\sqrt{n}) $ 個の座標をサンプリング・更新することで、反復コストを著しく削減。
• ステップサイズを調整した修正されたショートステップ中央パス手法を適用。これにより、$ O^*(n) $ の総ステップ数を維持しながら、各ステップのコストを低く保つ。
• 行列乗算の双対指数 $ \alpha $ を活用し、行列乗算コストと反復回数の間のトレードオフを最適化。

Figure 1: ClassicalStep happens with $n^{-2}$ probability

実験結果

リサーチクエスチョン

• RQ1 現代の行列乗算技術を用いて、密行列の線形計画法の $ O^*(n^{2.5}) $ 実行時間を改善できるか？
• RQ2 $ \ell_2 $-乗法的重み変更の下で、射影行列を二次未満の時間で維持することは可能か？
• RQ3 中央パス手法の確率的バージョンは、収束性を損なわずに反復あたりの座標更新回数を削減できるか？
• RQ4 内点法において、行列乗算コストと反復回数の最適なトレードオフは何か？
• RQ5 現在の行列乗算指数 $ \omega $ は、線形計画法アルゴリズムの実行時間に根本的な限界を設定しているか？

主な発見

• アルゴリズムは、$ \omega \sim 2.38 $ および $ \alpha \sim 0.31 $ の現在の値を用いて、$ O^*(n^\omega \log(n/\delta)) $ 時間で線形計画法を解く。これは、線形方程式系を解く最良の時間と一致する。
• $ \omega = 2 $ の場合、実行時間は $ O^*(n^{2+1/6} \log(n/\delta)) $ に改善され、従来の $ O^*(n^{2.5}) $ の境界を上回る。
• この手法は、$ \ell_2 $-乗法的重み更新の下で射影行列を二次未満の時間で維持するという、主な技術的革新を達成している。
• 各反復で唯一 $ \widetilde{O}(\sqrt{n}) $ 個の座標を更新することで、総座標更新回数を $ O^*(n) $ にまで削減し、ほぼ最適な水準に到達。
• このフレームワークは一般性を備えており、経験的リスク最小化、カットプレーン法、半正定値計画法など、他の問題へも拡張可能。
• この結果により、線形計画法の自然な実行時間の限界が確立され、最良の行列乗算複雑度と一致する。

Figure 2: $\psi(x)$ , $\psi(x)^{\prime}$ and $\psi(x)^{\prime\prime}$ . For $\epsilon_{\mathrm{mp}}\in(0,1)$ .