[论文解读] Greed Works: An Improved Analysis of Sampling Kaczmarz-Motzkin

Jamie Haddock, Anna Ma|arXiv (Cornell University)|Dec 7, 2019

Stochastic Gradient Optimization Techniques参考文献 59被引用 4

一句话总结

本文针对大规模线性系统求解的混合随机-贪心方法——采样Kaczmarz-Motzkin（SKM）算法，提出了改进的收敛性分析。通过去除对固定样本大小和归一化行向量的依赖，分析表明SKM的收敛速率同时取决于系统的动态范围和自适应选择的样本大小β，显著优于先前的理论界限，揭示了迭代求解器中部分贪心策略的优势。

ABSTRACT

Stochastic iterative algorithms have gained recent interest in machine learning and signal processing for solving large-scale systems of equations, $Ax=b$. One such example is the Randomized Kaczmarz (RK) algorithm, which acts only on single rows of the matrix $A$ at a time. While RK randomly selects a row of $A$ to work with, Motzkin's Method (MM) employs a greedy row selection. Connections between the two algorithms resulted in the Sampling Kaczmarz-Motzkin (SKM) algorithm which samples a random subset of $β$ rows of $A$ and then greedily selects the best row of the subset. Despite their variable computational costs, all three algorithms have been proven to have the same theoretical upper bound on the convergence rate. In this work, an improved analysis of the range of random (RK) to greedy (MM) methods is presented. This analysis improves upon previous known convergence bounds for SKM, capturing the benefit of partially greedy selection schemes. This work also further generalizes previous known results, removing the theoretical assumptions that $β$ must be fixed at every iteration and that $A$ must have normalized rows.

研究动机与目标

• 通过改进采样Kaczmarz-Motzkin（SKM）算法的理论收敛界，弥合纯随机与完全贪心Kaczmarz方法之间的差距。
• 通过去除限制性假设（包括每次迭代中β固定以及矩阵A的行被归一化），推广先前的分析。
• 量化SKM收敛速率如何依赖于线性系统的动态范围以及样本大小β的选择。
• 通过实验表明，β的中间取值（如β=10）通常在收敛速度与计算成本之间实现最优权衡。
• 开启关于SKM类算法自适应β选择与最优样本大小策略的新研究方向。

提出的方法

• 提出对SKM的精细化理论分析，捕捉样本大小βk在迭代过程中变化的影响，而非假设β为固定值。
• 引入一个显式依赖于系统动态范围的收敛界，动态范围定义为最大与最小非零奇异值的比值。
• 去除矩阵A的行必须归一化的假设，使分析适用于一般矩阵。
• 采用概率框架分析每次迭代的误差期望下降，利用残差幅值和行范数。
• 采用广义残差选择规则：算法采样β行，并选择残差幅值最大的一行。
• 推导出新的期望误差衰减上界，通过引入β和系统结构，改进了经典的(1 - σ²min / ||A||²F)收敛速率。

实验结果

研究问题

• RQ1 当β在迭代过程中可变时，SKM算法的收敛速率如何依赖于样本大小β？
• RQ2 通过去除固定β和归一化行的假设，能否改进SKM的收敛性分析？
• RQ3 线性系统的动态范围在决定SKM收敛行为方面起什么作用？
• RQ4 部分贪心（中间β值）是否优于完全随机（β=1）或完全贪心（β=m）的选择？
• RQ5 在实际应用中，为最小化计算成本并实现快速收敛，β的最优选择是什么？

主要发现

• SKM的改进收敛界同时依赖于系统的动态范围和βk的自适应选择，表明部分贪心可提升收敛速度。
• 分析去除了固定β和归一化行的限制性假设，使理论结果适用于更广泛的线性系统类别。
• 实验结果表明，在无标度网络矩阵和SuiteSparse中的真实稀疏矩阵上，β=10在CPU时间方面实现了最优性能。
• 对于'ash958'矩阵，β=10在保持高精度的同时实现了最低的CPU时间，表明中间β值可优于极端选择。
• 在真实世界矩阵上，β从1增至10再增至50可降低近似误差，但同时增加FLOPS和CPU时间，证实了精度与效率之间的权衡。
• 共轭梯度最小二乘法（CGLS）在最终误差和速度方面优于SKM的β=1、10、50，但SKM更天然适用于分布式计算环境。