[論文レビュー] A Kaczmarz Method with Simple Random Sampling for Solving Large Linear Systems

Yutong Jiang, Gang Wu+1 more|arXiv (Cornell University)|Nov 30, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、大規模な線形方程式系を解くために、シンプルなランダムサンプリングを用いた確率的Kaczmarz法を提案する。Chebyshevの大数の法則およびZ検定に基づく確率的サンプリング戦略を用いることで、従来の方法およびグリーディ確率的Kaczmarz法よりも収束速度を向上させるとともに、計算コストを低減する。特に大規模問題およびリッジ回帰問題において、高速な収束を維持しながら計算コストを削減できる。

ABSTRACT

The Kaczmarz method is a popular iterative scheme for solving large-scale linear systems. The randomized Kaczmarz method (RK) greatly improves the convergence rate of the Kaczmarz method, by using the rows of the coefficient matrix in random order rather than in their given order. An obvious disadvantage of the randomized Kaczmarz method is its probability criterion for selecting the active or working rows in the coefficient matrix. In [{\sc Z.Z. Bai, W. Wu}, {\em On greedy randomized Kaczmarz method for solving large sparse linear systems}, SIAM Journal on Scientific Computing, 2018, 40: A592--A606], the authors proposed a greedy randomized Kaczmarz method (GRK). However, this method may suffer from heavily computational cost when the size of the matrix is large, and the overhead will be prohibitively large for big data problems. The contribution of this work is as follows. First, from the probability significance point of view, we present a partially randomized Kaczmarz method, which can reduce the computational overhead needed in greedy randomized Kaczmarz method. Second, based on Chebyshev's law of large numbers and Z-test, we apply a simple sampling approach to the partially randomized Kaczmarz method. The convergence of the proposed method is established. Third, we apply the new strategy to the ridge regression problem, and propose a partially randomized Kaczmarz method with simple random sampling for ridge regression. Numerical experiments demonstrate the superiority of the new algorithms over many state-of-the-art randomized Kaczmarz methods for large linear systems problems and ridge regression problems.

研究の動機と目的

• 大規模問題におけるグリーディ確率的Kaczmarz（GRK）法の高い計算コストを軽減すること。
• 各反復で全残差を計算する必要を減らすために、サンプリングに基づく選択戦略を導入すること。
• 収束速度と計算効率の両立を図る部分的に確率的なKaczmarz法を開発すること。
• 確率的サンプリングの原則を用いて、提案手法の理論的収束性を確立すること。
• 正則化項τを組み込むことで、リッジ回帰問題への応用を拡張し、パラメータへの感受性を低減すること。

提案手法

• 大きな残差成分を優遇する確率基準に基づいて行を選択する部分的に確率的なKaczmarz法を提案し、全残差計算を削減する。
• Chebyshevの大数の法則およびZ検定を用いて、有意な残差成分を推定するシンプルなランダムサンプリングを部分的に確率的な手法に適用する。
• サンプリング比ηを用いて、各反復で選択する行数を制御し、精度と計算コストのバランスをとる。
• 全残差を計算しないサンプリングベースの確率的選択メカニズムを導入し、反復あたりのオーバーヘッドを顕著に低減する。
• 選択された行が定める超平面への射影として更新規則を定式化し、Kaczmarzフレームワークを維持する。
• 正則化項τを組み込むことで、リッジ回帰問題に適応し、行列の明示的構築や緩和パラメータを避ける。

実験結果

リサーチクエスチョン

• RQ1 サンプリングに基づく確率的基準は、グリーディ手法と比較して収束速度を向上させるとともに、計算コストを低減できるか？
• RQ2 統計法則に基づくシンプルなランダムサンプリングの使用は、大規模な線形方程式系における収束速度および安定性にどのように影響するか？
• RQ3 提案手法は、標準的およびリッジ回帰問題の両方において、最先端の確率的Kaczmarz変種を上回る性能を発揮できるか？
• RQ4 サンプリング比および正則化パラメータの選択に伴う、提案手法の性能への感受性はいかほどか？
• RQ5 明示的な全行列Kの構築や保存をせずに、高速な収束を維持できるか？

主な発見

• シンプルなランダムサンプリングを用いた提案手法（アルゴリズム6および7）は、すべてのテスト行列において、標準的確率的Kaczmarz（RK）およびVGRKやVRGSなどの変種よりも高速な収束を達成した。
• τ=0.001のbcsstm09行列において、アルゴリズム7はわずか1308反復、2.21秒で収束したが、AVGRK(ω)は9反復で収束したものの、1反復あたりのコストが高く、合計7794.59秒を要した。
• アルゴリズム6および7は正則化パラメータτに対して感受性が低く、AVGRK(ω)が強く依存し、計算コストが高くなるのとは対照的であった。
• リッジ回帰のテストでは、アルゴリズム6および7はすべての行列で2000反復未満で収束したが、AVGRK(ω)は一部のケースで100,000反復以上を要した。
• アルゴリズム6および7のCPU時間は、ほとんどの行列で4秒未満と安定して低く保たれたが、大規模問題ではAVGRK(ω)が1000秒を超えた。
• 本手法は、明示的な行列の構築や緩和パラメータを回避しており、大規模およびビッグデータ問題において効率的かつスケーラブルである。