[論文レビュー] Randomized extended block Kaczmarz for solving least squares

Kui Du, Wutao Si+1 more|arXiv (Cornell University)|Jan 13, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、一貫性・非一貫性、過剰決定・劣決定、フルランク・ランク落ちのすべてのケースを含む一般線形系を解くための確率的拡張ブロックカツマルツ（REBK）アルゴリズムを提案する。最小ℓ₂ノルム最小二乗解への平均二乗収束が指数的であり、疑似逆行列の計算を必要とせず、1反復あたり2回の確率的ブロックカツマルツ更新を活用することで、顕著な計算高速化を実現する分散処理に適した効率的な実装が可能となる。

ABSTRACT

Randomized iterative algorithms have recently been proposed to solve large-scale linear systems. In this paper, we present a simple randomized extended block Kaczmarz algorithm that exponentially converges in the mean square to the unique minimum $\ell_2$-norm least squares solution of a given linear system of equations. The proposed algorithm is pseudoinverse-free and therefore different from the projection-based randomized double block Kaczmarz algorithm of Needell, Zhao, and Zouzias. We emphasize that our method works for all types of linear systems (consistent or inconsistent, overdetermined or underdetermined, full-rank or rank-deficient). Moreover, our approach can utilize efficient implementations on distributed computing units, yielding remarkable improvements in computational time. Numerical examples are given to show the efficiency of the new algorithm.

研究の動機と目的

• 一貫性のない場合やランク落ちのケースを含む一般線形系を高速かつスケーラブルに解く反復的アルゴリズムの開発。
• ムーア・ペンローズ疑似逆行列を計算せずに、最小ℓ₂ノルム最小二乗解への平均二乗収束を指数的に行う。
• ブロック構造と確率的行・列サンプリングを活用することで、並列および分散計算を効率的に行えるようにする。
• 一貫性・非一貫性、フルランク・ランク落ち、過剰決定・劣決定のすべてのタイプの線形系に適用可能な統一的フレームワークを提供する。
• 合成および実世界のスパース行列を用いた数値実験により、顕著な計算高速化を実証する。

提案手法

• アルゴリズムは1反復あたり2回の確率的ブロックカツマルツ（RABK）更新を実行する：1回は転置系に対して、もう1回は元のプライマル系に対して。
• 特定のステップサイズルールを用いた重み付きRABK更新により、最小ℓ₂ノルム最小二乗解への収束を保証する。
• 疑似逆行列計算を回避するため、2段階の更新を採用：まず残差ベクトルを更新し、その後で解の反復を更新する。
• 各行と各列のブロックを反復ごとに確率的に選択するため、完全なパーティションを必要とせず、サンプリングの柔軟性が得られる。
• ブロックサイズとステップサイズを主な調整パrameterとして、分散処理ユニット間で効率的に並列化可能に設計されている。
• 収束解析により、すべての一般線形系に対してA†bへの指数的平均二乗収束が証明されている。

実験結果

リサーチクエスチョン

• RQ1 疑似逆行列計算を伴わず、最小ℓ₂ノルム最小二乗解への指数的収束を達成できる確率的ブロックカツマルツ法を設計できるか？
• RQ2 拡張カツマルツフレームワークを、一貫性のない場合やランク落ちのケースを含むすべてのタイプの線形系に一般化できるか？
• RQ3 ブロックサイズとステップサイズが、分散環境および大規模設定における収束速度に与える影響は何か？
• RQ4 指数的収束を維持しつつ、分散処理ユニット間で効率的に並列化できるか？
• RQ5 実世界のスパース行列において、REK や RDBK と比較して、提案されたREBKアルゴリズムの性能はどのように異なるか？

主な発見

• REBKアルゴリズムは、一貫性のない場合やランク落ちのケースを含むすべての一般線形系に対して、最小ℓ₂ノルム最小二乗解A†bへの平均二乗収束が指数的であることを確認した。
• タイプIおよびタイプIIの合成行列において、ブロックサイズτ=10、α=1.75/β_maxのREBKは、REKおよびRDBKを上回り、abtaha1では最大3.53倍、WorldCitiesでは最大2.14倍のCPU時間短縮を達成した。
• フロリダ大学スパース行列コレクションの実世界行列において、最適なブロックサイズと経験的ステップサイズを用いたREBKは、反復回数を最大69%削減し、CPU時間も最大3.53倍高速化した。
• スケーリングの恩恵は、問題固有のブロックサイズとステップサイズの選択に強く依存しており、行列ごとに最適パラメータが異なることが判明した。
• 大規模システム（最大20,000行、5,000列）において顕著な計算的利点を示し、分散環境における強力なスケーラビリティを示した。
• 数値結果により、すべてのテストケースにおいてREK、RDBK、REBKの中でREBKが最も高速であることが確認され、特に大規模かつスパースなシステムにおいて顕著な優位性を示した。