[論文レビュー] Faster Dynamic Matrix Inverse for Faster LPs

Shunhua Jiang, Zhao Song+2 more|arXiv (Cornell University)|Apr 16, 2020

Complexity and Algorithms in Graphs参考文献 44被引用数 54

ひとこと要約

この論文は多段階 Woodbury 恒等を用いて連鎖的なダイナミックマトリックス逆行列データ構造を設計し、低ランク更新を高速化することで、ほぼ行列積演算時間で実行される内部点法 LP ソルバーを高速化する。

ABSTRACT

Motivated by recent Linear Programming solvers, we design dynamic data structures for maintaining the inverse of an $n imes n$ real matrix under $ extit{low-rank}$ updates, with polynomially faster amortized running time. Our data structure is based on a recursive application of the Woodbury-Morrison identity for implementing $ extit{cascading}$ low-rank updates, combined with recent sketching technology. Our techniques and amortized analysis of multi-level partial updates, may be of broader interest to dynamic matrix problems. This data structure leads to the fastest known LP solver for general (dense) linear programs, improving the running time of the recent algorithms of (Cohen et al.'19, Lee et al.'19, Brand'20) from $O^*(n^{2+ \max\{\frac{1}{6}, ω-2, \frac{1-α}{2}\}})$ to $O^*(n^{2+\max\{\frac{1}{18}, ω-2, \frac{1-α}{2}\}})$, where $ω$ and $α$ are the fast matrix multiplication exponent and its dual. Hence, under the common belief that $ω\approx 2$ and $α\approx 1$, our LP solver runs in $O^*(n^{2.055})$ time instead of $O^*(n^{2.16})$.

研究の動機と目的

• 高速な LP ソルバーおよび関連アプリケーションにおけるダイナミック逆行列維持の必要性を動機づける。
• 低ランクのマトリックス更新とクエリを加速させる連鎖的で多段階の更新フレームワークを開発する。
• 新しいポテンシャル系とマルチネージャー（ martingale ）的議論を用いたアモルタイズド性能を分析する。
• 標準的仮定の下で、フレームワークが LP ソルバーをほぼ行列積計算時間へ改善する様子を示す。
• ダイナミック逆行列の連鎖的 lazy 更新手法の詳細な記述と分析を提供する。

提案手法

• Woodbury の恒等式を K>1 レベルへ一般化して低ランク更新を連鎖させる。
• 閾値を縮小する K エポックに更新を分割し、Woodbury 構造マトリクスの LU 分解を維持する。
• 連鎖的 lazy 更新を用いて更新コストとクエリコストをアモルタイズし、LP に関連するベクトルのゆっくりと変化する特性を活用する。
• 射影維持ステップ内のマトリクス-ベクトル積を加速するために、ランダム化圧縮とスケッチを組み合わせる。
• 高い確率での実行時間を得るよう、各レベルのコストをバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 低ランク更新下でのダイナミック逆行列維持を、従来の O*(n^{2+1/6}) 近傍を超えて加速できるか。
• RQ2 逐次的に変化するクエリベクトルが存在する状況で、マルチレベル（K レベル）連鎖更新をどのように実装して逆行列を効率的に維持するか。
• RQ3 行列式の乗数 ω およびその双対 α に関する標準仮定の下で、達成可能な LP 実行時間はどの程度か。
• RQ4 乱択的スケッチングをデラーナマイズせずに連鎖更新と組み合わせることはどの程度可能か。
• RQ5 提案フレームワークが反復回数と総実行時間の点で実用的な LP ソルバーに与える影響はどの程度か。

主な発見

• 本論文は問題ごとに O*(n^{ω} + n^{2.5−α/2} + n^{2+1/18}) の LP ソルバーを達成し、精度パラメータで対数的に拡大される。
• 理想的な領域（ω≈2, α≈1）では、ソルバーは約 O*(n^{2.055}) 時間で動作し、従来の O*(n^{2.166}) のベンチマークを上回る。
• K=3 レベルの連鎖的 lazy-update フレームワークは分析上、1 回の反復実行時間を約 n^{2+1/18} 程度にする。
• 更新構造化マトリクスの LU 分解を効率的に維持することが、サブ二次的なアモルタイズドコストを達成する鍵となる。
• 乱択的圧縮とスケッチング技術を組み込み、収束保証を損なうことなく射影維持コストを削減する。
• このアプローチは、LP に限らず多段階 Woodbury に基づく更新とアモルタイズド分析により、ダイナミックマトリックス問題の一般的な技法を提供する。