[论文解读] An Accelerated Randomized Kaczmarz Algorithm

Ji Liu, Stephen J. Wright|arXiv (Cornell University)|Oct 10, 2013

Stochastic Gradient Optimization Techniques参考文献 11被引用 9

一句话总结

本文提出了一种加速的随机Kaczmarz（ARK）算法，相较于标准随机Kaczmarz（RK）方法，该方法在求解一致线性系统时显著提升了收敛速度，尤其在病态问题上表现更优。通过引入Nesterov加速技术，ARK实现了更快的线性收敛，而其稀疏变体SARK通过缓存更新操作，在稀疏矩阵上保持了高效性，其性能在低非零密度的稀疏场景下优于RK和ARK。

ABSTRACT

The randomized Kaczmarz ($\RK$) algorithm is a simple but powerful approach for solving consistent linear systems $Ax=b$. This paper proposes an accelerated randomized Kaczmarz ($\ARK$) algorithm with better convergence than the standard $\RK$ algorithm on ill conditioned problems. The per-iteration cost of $\RK$ and $\ARK$ are similar if $A$ is dense, but $\RK$ is much more able to exploit sparsity in $A$ than is $\ARK$. To deal with the sparse case, an efficient implementation for $\ARK$, called $\SARK$, is proposed. A comparison of convergence rates and average per-iteration complexities among $\RK$, $\ARK$, and $\SARK$ is given, taking into account different levels of sparseness and conditioning. Comparisons with the leading deterministic algorithm --- conjugate gradient applied to the normal equations --- are also given. Finally, the analysis is validated via computational testing.

研究动机与目标

• 解决随机Kaczmarz（RK）算法在病态线性系统上收敛缓慢的问题。
• 开发一种加速变体ARK，利用Nesterov加速技术提升收敛速率。
• 设计SARK，一种针对稀疏矩阵优化的ARK实现，以保持计算效率。
• 在不同稀疏度与条件数水平下，对RK、ARK和SARK进行理论与实证比较。
• 将ARK与SARK与共轭梯度（CG）方法在稠密、病态系统上进行基准测试。

提出的方法

• 将Nesterov加速框架应用于随机Kaczmarz更新规则，推导出ARK算法。
• 采用基于动量的更新策略，结合当前与前一时刻的迭代值以加速收敛。
• 提出SARK，一种通过缓存ARK更新以保持稀疏性并降低稀疏矩阵每轮迭代成本的变体。
• 在理论分析中采用行归一化（‖a_i‖₂ = 1）以简化收敛性证明，尽管实现中并非必需。
• 基于AᵀA的最小与最大特征值推导理论收敛速率，特别关注λ_min与几何平均√(λ_min λ_max)。
• 通过操作次数与迭代次数校准性能，将CG的每轮迭代成本按n倍操作进行缩放，以实现公平比较。

实验结果

研究问题

• RQ1 Nesterov加速如何提升随机Kaczmarz算法在病态线性系统上的收敛速率？
• RQ2 在随机Kaczmarz方法中应用加速时，收敛速度与计算成本之间的权衡是什么？
• RQ3 矩阵A的稀疏性如何影响ARK及其稀疏变体SARK相较于标准RK的性能表现？
• RQ4 在何种场景下，ARK或SARK在稠密、病态系统上优于共轭梯度方法？
• RQ5 结合早期CG迭代与后期ARK或RK步骤的混合策略是否能实现更优性能？

主要发现

• 在病态问题上，ARK相较于RK实现了更快的线性收敛，尤其当√(λ_min λ_max)较小时效果更显著。
• 对于稀疏矩阵且δ = 0.01的情况，由于ARK每轮迭代成本为O(n)，RK在操作次数上优于ARK与SARK。
• SARK每轮迭代的平均成本为O(√δ n)，在低非零密度的稀疏问题中三者中最高效。
• 在稠密、病态系统（m = n）中，ARK在后期迭代中与CG性能相当，且在需要高精度时能实现更高精度。
• CG因可获取全局信息而初始收敛更快，但ARK保持了稳定且可预测的收敛行为，其表现与理论预测高度一致。
• 采用CG进行初期迭代、随后切换至ARK的混合策略效果显著，兼具快速早期收敛与高精度最终结果。