[论文解读] A Kaczmarz Method with Simple Random Sampling for Solving Large Linear Systems

Yutong Jiang, Gang Wu+1 more|arXiv (Cornell University)|Nov 30, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用 8

一句话总结

本文提出一种基于简单随机抽样的随机Kaczmarz方法，用于求解大规模线性系统，通过基于大数定律和Z检验的概率采样策略，相较于传统方法和贪婪随机Kaczmarz方法，显著提升了收敛速度。该方法在保持快速收敛的同时降低了计算成本，尤其在大规模问题和岭回归问题中表现优异。

ABSTRACT

The Kaczmarz method is a popular iterative scheme for solving large-scale linear systems. The randomized Kaczmarz method (RK) greatly improves the convergence rate of the Kaczmarz method, by using the rows of the coefficient matrix in random order rather than in their given order. An obvious disadvantage of the randomized Kaczmarz method is its probability criterion for selecting the active or working rows in the coefficient matrix. In [{\sc Z.Z. Bai, W. Wu}, {\em On greedy randomized Kaczmarz method for solving large sparse linear systems}, SIAM Journal on Scientific Computing, 2018, 40: A592--A606], the authors proposed a greedy randomized Kaczmarz method (GRK). However, this method may suffer from heavily computational cost when the size of the matrix is large, and the overhead will be prohibitively large for big data problems. The contribution of this work is as follows. First, from the probability significance point of view, we present a partially randomized Kaczmarz method, which can reduce the computational overhead needed in greedy randomized Kaczmarz method. Second, based on Chebyshev's law of large numbers and Z-test, we apply a simple sampling approach to the partially randomized Kaczmarz method. The convergence of the proposed method is established. Third, we apply the new strategy to the ridge regression problem, and propose a partially randomized Kaczmarz method with simple random sampling for ridge regression. Numerical experiments demonstrate the superiority of the new algorithms over many state-of-the-art randomized Kaczmarz methods for large linear systems problems and ridge regression problems.

研究动机与目标

• 解决贪婪随机Kaczmarz（GRK）方法在大规模问题中计算成本过高的问题。
• 通过引入基于采样的选择策略，减少每次迭代中对完整残差的计算依赖。
• 提出一种部分随机化的Kaczmarz方法，平衡收敛速度与计算效率。
• 基于概率采样原理，建立所提方法的理论收敛性。
• 将方法扩展至岭回归问题，实现性能提升并降低参数敏感性。

提出的方法

• 提出一种部分随机化的Kaczmarz方法，基于偏好大残差分量的概率准则选择行，减少完整残差计算。
• 应用简单随机抽样于部分随机化方法，利用切比雪夫大数定律和Z检验估计显著的残差分量。
• 使用采样比例η控制每次迭代中选择的行数，平衡精度与计算成本。
• 引入基于采样的概率选择机制，避免计算所有残差，显著降低每次迭代的开销。
• 将更新规则表述为投影到由选定行定义的超平面上，保持Kaczmarz框架的一致性。
• 通过引入正则化项τ，将方法适配至岭回归问题，并避免显式构造矩阵或使用松弛参数。

实验结果

研究问题

• RQ1 基于采样的概率准则是否能在降低计算成本的同时，提升Kaczmarz方法的收敛速度，相较于贪婪方法？
• RQ2 基于统计定律的简单随机抽样如何影响大规模线性系统中收敛速度与稳定性？
• RQ3 所提方法是否在标准问题和岭回归问题中均优于当前最先进的随机Kaczmarz变体？
• RQ4 所提方法的性能对采样比例和正则化参数的选择有多敏感？
• RQ5 该方法是否能在不显式构造或存储完整矩阵K的情况下保持快速收敛？

主要发现

• 所提方法采用简单随机抽样（算法6和7）在所有测试矩阵上均实现了比标准随机Kaczmarz（RK）及VGRK、VRGS等变体更快的收敛速度。
• 对于bcsstm09矩阵（τ=0.001），算法7仅需1308次迭代和2.21秒，而AVGRK(ω)虽仅需9次迭代，却耗时7794.59秒，归因于极高的单次迭代成本。
• 算法6和7对正则化参数τ不敏感，而AVGRK(ω)表现出强烈依赖性及高计算开销。
• 在岭回归测试中，算法6和7对所有矩阵均于2000次迭代内收敛，而AVGRK(ω)在某些情况下需超过100,000次迭代。
• 算法6和7的CPU时间始终保持极低（大多数矩阵低于4秒），而AVGRK(ω)在大规模问题中超过1000秒。
• 该方法避免了显式矩阵构造和松弛参数，使其在大规模和大数据问题中高效且可扩展。