[论文解读] Linear convergence of the Randomized Sparse Kaczmarz Method

Frank Schöpfer, Dirk A. Lorenz|arXiv (Cornell University)|Oct 10, 2016

Sparse and Compressive Sensing Techniques被引用 2

一句话总结

本文建立了随机稀疏Kaczmarz方法的期望线性收敛性，该方法是Kaczmarz算法的一种变体，旨在恢复线性系统的稀疏解。通过在分裂可行性框架中利用随机化Bregman投影，并扩展强凸函数及分段线性-二次函数的误差界，作者证明了在稀疏恢复问题和采用核范数正则化的低秩矩阵优化中存在线性收敛性，数值结果证实该方法在性能上优于标准方法和非随机化变体。

ABSTRACT

The randomized version of the Kaczmarz method for the solution of linear systems is known to converge linearly in expectation. In this work we extend this result and show that the recently proposed Randomized Sparse Kaczmarz method for recovery of sparse solutions, as well as many variants, also converges linearly in expectation. The result is achieved in the framework of split feasibility problems and their solution by randomized Bregman projections with respect to strongly convex functions. To obtain the expected convergence rates we prove extensions of error bounds for projections. The convergence result is shown to hold in more general settings involving smooth convex functions, piecewise linear-quadratic functions and also the regularized nuclear norm, which is used in the area of low rank matrix problems. Numerical experiments indicate that the Randomized Sparse Kaczmarz method provides advantages over both the non-randomized and the non-sparse Kaczmarz methods for the solution of over- and under-determined linear systems.

研究动机与目标

• 建立随机稀疏Kaczmarz方法在稀疏线性系统恢复中的期望线性收敛性。
• 将收敛性分析从标准Kaczmarz方法扩展至通过软阈值法实现的稀疏性促进正则化。
• 展示该方法在过定与欠定系统中的有效性，尤其适用于稀疏和低秩解。
• 将收敛框架推广至光滑凸函数、分段线性-二次函数以及正则化核范数问题。
• 为随机化在稀疏Kaczmarz迭代中表现出的数值优势提供理论依据。

提出的方法

• 在由线性约束定义的超平面上使用随机化Bregman投影，随机行选择的概率与行范数平方成正比。
• 在每次投影步骤后应用软阈值（软收缩）以强制实现稀疏性，模拟正则化基追踪问题的求解。
• 采用稀疏恢复问题的对偶形式，并将迭代解释为对偶上的随机坐标梯度下降。
• 通过强凸函数和分段线性-二次函数下投影的扩展误差界建立收敛性。
• 通过将向量ℓ1-范数替换为矩阵核范数并使用奇异值阈值化，将该框架应用于低秩矩阵恢复。
• 利用共轭函数和次微分理论分析Bregman投影结构，并推导收缩性质。

实验结果

研究问题

• RQ1 随机稀疏Kaczmarz方法在稀疏线性系统中是否具有期望线性收敛性？
• RQ2 随机化Bregman投影的收敛框架能否扩展至ℓ1和核范数等非光滑、非二次正则化项？
• RQ3 与循环或确定性策略相比，随机化如何影响稀疏Kaczmarz方法的收敛速度？
• RQ4 该方法的收敛速率如何依赖于条件数或稀疏度水平等特定问题参数？
• RQ5 理论收敛结果能否推广至强凸函数和分段线性-二次函数之外的其他凸函数类别？

主要发现

• 即使在不平滑目标函数的情况下，随机稀疏Kaczmarz方法在稀疏恢复问题中仍具有期望线性收敛性。
• 收敛速率通过Bregman投影的扩展误差界建立，适用于强凸函数和分段线性-二次函数。
• 该方法不仅对向量ℓ1-正则化问题实现线性收敛，也对通过核范数正则化的低秩矩阵恢复实现线性收敛。
• 数值实验表明，与非随机化稀疏Kaczmarz方法和标准Kaczmarz方法相比，该随机变体在收敛速度和稀疏性保持方面表现更优。
• 即使在过定系统中，随机稀疏Kaczmarz方法在残差减少速度和误差水平方面也优于基线方法。
• 收敛速率中的收缩常数依赖于问题特定的量（如L和γ），这些量无法仅从问题数据中轻易计算。