[論文レビュー] A doubly stochastic block Gauss-Seidel algorithm for solving linear equations

Kui Du, Xiaohui Sun|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、係数行列 A の部分行列を確率的に選択することで逐次的に解を更新する、二重に確率的ブロックガウス＝ザイデル（DSBGS）アルゴリズムを提案する。この手法は、一貫性のある系および一貫性のない系の両方において、期待される反復解および誤差／残差ノルムの指数的収束を達成し、確率的カツマルツ法、確率的ガウス＝ザイデル法、二重に確率的ガウス＝ザイデル法を特別な場合として一般化する。

ABSTRACT

We propose a simple doubly stochastic block Gauss--Seidel algorithm for solving linear systems of equations. By varying the row partition parameter and the column partition parameter of the coefficient matrix, we recover the Landweber algorithm, the randomized Kaczmarz algorithm, the randomized Gauss--Seidel algorithm, and the doubly stochastic Gauss--Seidel algorithm. For general (consistent or inconsistent) linear systems, we show the exponential convergence of the {\it norms of the expected iterates} via exact formulas. For consistent linear systems, we prove the exponential convergence of the {\it expected norms of the error and the residual}. Numerical experiments are given to illustrate the efficiency of the proposed algorithm.

研究の動機と目的

• 既存の確率的手法を統一的に一般化する、線形系を解くための包括的で効率的な反復的アルゴリズムの開発。
• 射影や一般化逆行列を必要とするブロック手法の限界を克服するため、このような操作を伴わずに部分行列のサンプリングを用いる。
• 一貫性のある系および一貫性のない系の両方に対して、理論的収束保証を確立すること。
• 合成データおよび実世界のデータを用いた数値実験を通じて、アルゴリズムの効率性を実証すること。

提案手法

• 係数行列 A から、部分行列のフロベニウスノルムに基づく二重に確率的サンプリング戦略を用いて、ランダムな部分行列 A_{I,J} を選択する。
• 各反復で、選択された部分行列を用いたガウス＝ザイデル型の更新により解を更新し、射影や一般化逆行列を回避する。
• 更新規則は、目的関数 f(x) = (1/(2||A||_F^2))||b - Ax||_2^2 に対する確率的勾配降下法から導出される。
• 各部分行列 (I,J) のサンプリング確率は、||A_{I,J}||_F^2 / ||A||_F^2 に比例し、バランスの取れた探索を保証する。
• 本手法は、ランドウェーバー法、確率的カツマルツ法、確率的ガウス＝ザイデル法、二重に確率的ガウス＝ザイデル法が、適切な行・列の分割パラメータの選択により DSBGS の特別な場合として回復されることを示している。
• 理論的分析では、期待される反復解の正確な公式を用いて、期待値における指数的収束を証明している。

実験結果

リサーチクエスチョン

• RQ1 確率的カツマルツ法、確率的ガウス＝ザイデル法、二重に確率的ガウス＝ザイデル法を一般化する包括的アルゴリズムを設計可能か？
• RQ2 部分行列のサンプリングを用いるブロックベースの確率的ガウス＝ザイデル法は、一般の線形系において指数的収束を達成できるか？
• RQ3 提案された DSBGS アルゴリズムは、既存の確率的手法と比較して、反復回数および CPU 時間の点で優れた性能を示すか？
• RQ4 ステップサイズとブロックサイズの収束速度への影響は何か？また、それらを最適に選択する方法は何か？

主な発見

• DSBGS アルゴリズムは、正確な公式を用いて証明されたように、一貫性のある系および一貫性のない系の両方において、反復解の期待ノルムの指数的収束を達成する。
• 一貫性のある系では、誤差および残差の期待ノルムが指数的に収束し、収束速度は行列 A の固有値特性に依存する。
• 数値実験では、DSBGS が確率的カツマルツ（RK）アルゴリズムを著しく上回り、合成データでは最大 14.57 倍、実世界のスパース行列では最大 21.52 倍の高速化を達成した。
• abtaha1 行列では、反復回数を 183,000 回から 39,100 回に、CPU 時間を 42.25 秒から 2.90 秒に削減し、顕著な効率向上を示した。
• アルゴリズムの性能はステップサイズおよびブロックサイズに強く依存しており、最適な選択は問題に依存することが、実世界の行列を用いた実験で示された。
• 本手法は既存の手法を一般化する：RK、RGS、DSGS は、適切な行・列分割パラメータの選択により、DSBGS の特別な場合としてすべて回復される。