[论文解读] A doubly stochastic block Gauss-Seidel algorithm for solving linear equations

Kui Du, Xiaohui Sun|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用 4

一句话总结

该论文提出了一种双重随机块高斯-赛德尔（DSBGS）算法，通过随机选择系数矩阵 A 的子矩阵来迭代更新解，以求解线性系统。该方法在一致和不一致系统下均实现了期望迭代值及误差/残差范数的指数收敛，是随机Kaczmarz、随机高斯-赛德尔以及双重随机高斯-赛德尔方法的推广。

ABSTRACT

We propose a simple doubly stochastic block Gauss--Seidel algorithm for solving linear systems of equations. By varying the row partition parameter and the column partition parameter of the coefficient matrix, we recover the Landweber algorithm, the randomized Kaczmarz algorithm, the randomized Gauss--Seidel algorithm, and the doubly stochastic Gauss--Seidel algorithm. For general (consistent or inconsistent) linear systems, we show the exponential convergence of the {\it norms of the expected iterates} via exact formulas. For consistent linear systems, we prove the exponential convergence of the {\it expected norms of the error and the residual}. Numerical experiments are given to illustrate the efficiency of the proposed algorithm.

研究动机与目标

• 开发一种统一且高效的迭代算法，用于求解线性系统，以推广现有的随机化方法。
• 通过子矩阵采样避免投影或伪逆操作，解决块方法的局限性。
• 为一致和不一致线性系统建立理论收敛保证。
• 通过在合成数据和真实世界数据上的数值实验，展示该算法的高效性。

提出的方法

• 该算法基于子矩阵的Frobenius范数，采用双重随机采样策略，从系数矩阵 A 中随机选取一个子矩阵 A_{I,J}。
• 在每次迭代中，使用所选子矩阵通过高斯-赛德尔型更新规则来更新解，避免使用投影或伪逆。
• 更新规则源自最小二乘目标函数 f(x) = (1/(2||A||_F^2))||b - Ax||_2^2 的随机梯度下降。
• 每个子矩阵 (I,J) 的采样概率与其 ||A_{I,J}||_F^2 / ||A||_F^2 成正比，确保探索的均衡性。
• 该方法可恢复 Landweber、随机Kaczmarz、随机高斯-赛德尔和双重随机高斯-赛德尔算法作为特例。
• 理论分析利用期望迭代的精确公式，证明了其在期望意义下的指数收敛性。

实验结果

研究问题

• RQ1 能否设计一种统一算法，以推广随机Kaczmarz、随机高斯-赛德尔和双重随机高斯-赛德尔方法？
• RQ2 基于子矩阵采样的块随机高斯-赛德尔方法是否能对一般线性系统实现指数收敛？
• RQ3 所提出的 DSBGS 算法在迭代次数和CPU时间方面与现有随机化方法相比表现如何？
• RQ4 步长和块大小对收敛速度有何影响，如何实现最优选择？

主要发现

• 通过精确公式证明，DSBGS 算法在一致和不一致线性系统下，均实现了期望迭代值范数的指数收敛。
• 对于一致系统，期望误差和残差范数也呈指数收敛，收敛速率取决于矩阵 A 的谱性质。
• 数值实验表明，DSBGS 显著优于随机Kaczmarz（RK）算法，在合成数据上速度提升最高达14.57倍，在真实世界稀疏矩阵上达21.52倍。
• 在 abtaha1 矩阵上，DSBGS 将迭代次数从183,000减少到39,100，CPU时间从42.25秒降至2.90秒，展现出显著的效率提升。
• 算法性能对步长和块大小高度敏感，最优选择依赖于具体问题，这在真实世界矩阵的实验中已得到验证。
• 该方法可统一现有算法：通过适当选择行和列划分参数，RK、RGS 和 DSGS 均为 DSBGS 的特例。