[論文レビュー] Faster Randomized Interior Point Methods for Tall/Wide Linear Programs

Agniva Chowdhury, Gregory Dexter+3 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、共役勾配（CG）ソルバーを用いたランダム化プリコンディショニングを用いることで、高さ・幅の大きい線形計画問題（tall/wide LPs）に対して、反復の複雑さを増さずに、実行可能で近似的に最適な解への収束を可能にする、より高速なランダム化内点法を提案する。この手法により、内側の反復回数を1桁減少させつつ、ソルバーの誤差を補正するための新規な摂動ベクトルを用いることで、理論的収束保証を維持する。

ABSTRACT

Linear programming (LP) is an extremely useful tool which has been successfully applied to solve various problems in a wide range of areas, including operations research, engineering, economics, or even more abstract mathematical areas such as combinatorics. It is also used in many machine learning applications, such as $\ell_1$-regularized SVMs, basis pursuit, nonnegative matrix factorization, etc. Interior Point Methods (IPMs) are one of the most popular methods to solve LPs both in theory and in practice. Their underlying complexity is dominated by the cost of solving a system of linear equations at each iteration. In this paper, we consider both feasible and infeasible IPMs for the special case where the number of variables is much larger than the number of constraints. Using tools from Randomized Linear Algebra, we present a preconditioning technique that, when combined with the iterative solvers such as Conjugate Gradient or Chebyshev Iteration, provably guarantees that IPM algorithms (suitably modified to account for the error incurred by the approximate solver), converge to a feasible, approximately optimal solution, without increasing their iteration complexity. Our empirical evaluations verify our theoretical results on both real-world and synthetic data.

研究の動機と目的

• 各反復で大きな線形方程式系を解く必要があることによる内点法（IPMs）における計算ボトルネックを解消すること。
• 機械学習で一般的な、変数の数が制約の数に比べて多い問題（tall/wide LPs）に対してスケーラブルなIPMを設計すること。
• 正確なIPMsと同一の反復複雑度を維持しながら、不正確なランダム化線形方程式ソルバーを用いること。
• 線形方程式の近似誤差が生じても、実行可能で近似的に最適な解への収束を保証すること。
• 提案されたプリコンディショニングと不正確なIPMフレームワークの理論的保証と実験的検証を提供すること。

提案手法

• IPM反復における正規方程式行列の近似として、スケッチを用いたランダム化プリコンディショニングを用いる。
• 共役勾配（CG）またはチェビシェフ反復を用いてプリコンディショニングされた方程式系を解き、1反復あたりのコストを低減する。
• 近似線形解法によって生じる不実行性を補正するための摂動ベクトル v を導入し、収束を保証する。
• 標準的なIPMを不正確な解法を組み込むように修正し、実行可能で近似的に最適な解への収束を維持する。
• ランダム化線形代数の道具を用いて、条件数を制御し、反復的ソルバーの収束を加速する。
• スケッチ次元 w を用いて、プリコンディショニングされた方程式系の近似誤差と条件数を制御する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化プリコンディショニングは、外側の反復回数を増やさずに、IPMにおける内側のCG反復回数を削減できるか？
• RQ2 摂動に基づく補正ベクトルを用いた不正確なIPMは、依然として実行可能で近似的に最適な解へ収束するか？
• RQ3 スケッチ次元 w がプリコンディショニングされた方程式系の条件数と収束速度に与える影響は何か？
• RQ4 内側のCGソルバーにおける許容誤差の変化に対して、提案手法は頑健か？
• RQ5 ランダム化・近似線形方程式ソルバーを用いた場合でも、IPMの理論的収束保証は維持できるか？

主な発見

• 提案手法は、標準的なIPMと比較して、外側の反復回数に変化がなく、内側のCG反復回数を1桁減少させた。
• 実験的結果から、スケッチ次元 w を大きくすることで、内側の反復回数とプリコンディショニングされた方程式系の条件数の両方が顕著に減少することが分かった。
• 実行可能点から開始することで、外側の反復回数が著しく減少し、実行可能性が収束を加速することが示された。
• 摂動ベクトル v は収束に対して実験的に有効であるが、必須ではないことが分かった。なぜなら、v を用いなくてもアルゴリズムは依然として収束するからである。
• すべてのテストデータセット（ARCENE, DEXTER, DrivFace, Gene RNA）において、相対誤差が10^-3以下で高い効率が達成された。
• v補正機構のおかげで、不正確な解法を用いても理論的収束保証を維持できた。