[论文解读] A fast randomized Kaczmarz algorithm for sparse solutions of consistent linear systems

Hassan Mansour, Özgür Yılmaz|arXiv (Cornell University)|May 16, 2013

Sparse and Compressive Sensing Techniques参考文献 11被引用 9

一句话总结

该论文提出了一种稀疏随机Kaczmarz（SRK）算法，通过自适应加权矩阵的行来抑制非支撑项的贡献，从而加速一致线性系统稀疏解的收敛。通过在每次迭代中将非支撑元素的权重动态降低至 $1/\sqrt{j}$，SRK在稀疏解情况下比标准随机Kaczmarz算法收敛更快，即使在欠定系统中也能成功恢复稀疏信号，其性能与 $$\ell_1$ 最小化方法相当。

ABSTRACT

The Kaczmarz algorithm is a popular solver for overdetermined linear systems due to its simplicity and speed. In this paper, we propose a modification that speeds up the convergence of the randomized Kaczmarz algorithm for systems of linear equations with sparse solutions. The speedup is achieved by projecting every iterate onto a weighted row of the linear system while maintaining the random row selection criteria of Strohmer and Vershynin. The weights are chosen to attenuate the contribution of row elements that lie outside of the estimated support of the sparse solution. While the Kaczmarz algorithm and its variants can only find solutions to overdetermined linear systems, our algorithm surprisingly succeeds in finding sparse solutions to underdetermined linear systems as well. We present empirical studies which demonstrate the acceleration in convergence to the sparse solution using this modified approach in the overdetermined case. We also demonstrate the sparse recovery capabilities of our approach in the underdetermined case and compare the performance with that of $\ell_1$ minimization.

研究动机与目标

• 加速随机Kaczmarz算法在 $Ax=b$ 解为稀疏时的收敛速度。
• 解决标准随机Kaczmarz在稀疏解情况下因密集行中存在噪声或无关分量而导致收敛缓慢的问题。
• 将Kaczmarz类方法的应用范围从超定系统扩展到具有稀疏解的欠定系统。
• 在无需求解凸优化问题的前提下，实现与 $$\ell_1$ 最小化相当的性能。

提出的方法

• 该算法采用与随机Kaczmarz相同的行选择概率：$\frac{\|a_i\|_2^2}{\|A\|_F^2}$，在保持收敛性保证的同时实现随机化。
• 在每次迭代 $j$ 中，构建一个权重向量 $\mathbf{w}_j$：若 $l \in S$（支撑估计），则 $w_j(l) = 1$；否则 $w_j(l) = \frac{1}{\sqrt{j}}$。
• 更新规则采用加权投影：$x_j = x_{j-1} + \frac{b(i) - \langle \mathbf{w}_j \odot a_i, x_{j-1} \rangle}{\|\mathbf{w}_j \odot a_i\|_2^2} (\mathbf{w}_j \odot a_i)^T$，从而降低非支撑项的影响。
• 支撑估计 $S$ 在每一步更新为 $x_{j-1}$ 中按绝对值大小排序的前 $\max\{\hat{k}, n-j+1\}$ 个最大元素，随时间逐步优化稀疏性假设。
• 该加权方案确保当 $j \to \infty$ 时，$\mathbf{w}_j \odot a_i \to a_{iS}$，有效将系统简化为支撑子空间。
• 该方法保留了Strohmer和Vershynin的随机行选择机制，但通过动态加权聚焦于相关分量，从而提升收敛速度。

实验结果

研究问题

• RQ1 能否通过修改投影步骤，在保持随机行选择的前提下加速随机Kaczmarz算法在稀疏解情况下的收敛？
• RQ2 基于支撑估计的动态行加权在超定系统稀疏解情况下的收敛速度有何影响？
• RQ3 该改进算法能否在欠定系统中恢复稀疏解？其性能与 $$\ell_1$ 最小化相比如何？
• RQ4 支撑估计的准确性与权重衰减率对恢复成功率和收敛速度有何影响？
• RQ5 当真实解为稀疏时，即使缺乏支撑的先验知识，该算法是否仍比标准随机Kaczmarz收敛更快？

主要发现

• 在超定系统中，SRK相比标准随机Kaczmarz收敛速度显著提升，尤其在高度稀疏解（$k/n = 0.6$）时表现突出，收敛速率趋近于在简化系统 $A_{S_0}x_{S_0} = b$ 上应用RK算法的性能。
• 在 $m=100$，$n=400$ 的欠定系统中，SRK成功恢复了 $k/m \in \{0.1, 0.2, 0.25\}$ 的稀疏信号，展现出与 $$\ell_1$ 最小化相当的稀疏恢复能力。
• 随着稀疏度增加（如 $k/m = 0.25$），算法性能有所下降，但仍优于RK方法，且在公平迭代比较下与SPGL1方法具有竞争力。
• SRK在所有测试稀疏度水平下均优于标准RK的收敛速度，尤其在低稀疏度区域收益最大。
• SRK的收敛速率与支撑受限矩阵 $\kappa(A_S)$ 的条件数成反比，而 $\kappa(A_S)$ 小于 $\kappa(A)$，这解释了其加速机制。
• 实验结果表明，SRK在恢复性能上与SPGL1（标准 $$\ell_1$ 求解器）相当，同时仅通过迭代投影实现，避免了凸优化求解。