[论文解读] Convergence Rates for Greedy Kaczmarz Algorithms, and Faster Randomized Kaczmarz Rules Using the Orthogonality Graph

Julie Nutini, Behrooz Sepehry+4 more|arXiv (Cornell University)|Dec 22, 2016

Sparse and Compressive Sensing Techniques参考文献 33被引用 10

一句话总结

本文提出了贪心Kaczmarz选择规则——具体为最大残差（MR）和最大距离（MD）规则——相较于随机化Kaczmarz方法，能更快速地收敛求解线性系统。该研究首次对MR规则进行了多步收敛分析，并提出了一种基于正交性图的、可证明更快的随机化规则，适用于行向量两两正交的矩阵，在实际应用中显著提升了收敛速度。

ABSTRACT

The Kaczmarz method is an iterative algorithm for solving systems of linear equalities and inequalities, that iteratively projects onto these constraints. Recently, Strohmer and Vershynin [J. Fourier Anal. Appl., 15(2):262-278, 2009] gave a non-asymptotic convergence rate analysis for this algorithm, spurring numerous extensions and generalizations of the Kaczmarz method. Rather than the randomized selection rule analyzed in that work, in this paper we instead discuss greedy and approximate greedy selection rules. We show that in some applications the computational costs of greedy and random selection are comparable, and that in many cases greedy selection rules give faster convergence rates than random selection rules. Further, we give the first multi-step analysis of Kaczmarz methods for a particular greedy rule, and propose a provably-faster randomized selection rule for matrices with many pairwise-orthogonal rows.

研究动机与目标

• 分析并改进贪心Kaczmarz算法相较于随机选择规则的收敛速率。
• 为大规模线性系统中实现贪心选择规则开发高效的计算策略。
• 提出一种基于正交性图的可证明更快的随机化选择规则，适用于行向量两两正交的矩阵。
• 首次为Kaczmarz类方法中的最大残差规则提供多步收敛分析。
• 评估贪心规则在实际机器学习应用（如最小二乘和半监督学习）中的性能。

提出的方法

• 提出最大残差（MR）和最大距离（MD）贪心选择规则，用于在Kaczmarz迭代中选择下一次投影的行向量。
• 采用二叉堆数据结构维护并高效更新选择优先级，实现每次迭代O(log m)的更新复杂度。
• 提出正交性图以识别两两正交的行，通过聚焦于非重叠约束，实现更快的随机选择。
• 利用正交性图定义自适应非均匀和均匀采样规则，使收敛性能优于标准随机选择。
• 应用多步分析框架，推导MR规则的更紧收敛界，揭示其相较于单步随机选择的优越性能。
• 实现并评估混合贪心规则，通过在MR与MD之间交替选择，实现平方误差与解距离两项目标的平衡收敛。

实验结果

研究问题

• RQ1 贪心选择规则（如最大残差和最大距离）相较于随机选择，在Kaczmarz方法中的收敛速度如何？
• RQ2 对最大残差规则的多步分析是否能提供比单步分析更紧的收敛界？
• RQ3 实现贪心规则的计算成本是多少？在何种情况下其相对于随机或循环规则具有实际优势？
• RQ4 能否利用矩阵中行向量两两正交的结构，设计出更快的随机化选择规则？
• RQ5 结合MR与MD选择的混合贪心规则在多目标收敛（如平方误差与解距离）方面表现如何？

主要发现

• 最大残差规则的收敛速率优于随机化Kaczmarz方法，理论收敛常数得到改进。
• 首次为任何Kaczmarz算法提供最大残差规则的多步收敛分析，揭示其相较于单步随机选择的优越性能。
• 对于行向量两两正交的矩阵，基于正交性图的随机化规则在理论上收敛速度优于标准随机选择。
• 数值实验表明，贪心规则在收敛速度上优于随机选择，尤其在最小二乘和半监督学习任务中表现更优。
• 通过在最大残差与最大距离选择之间交替的混合贪心规则，在平方误差与解距离两项目标上均实现了平衡且快速的收敛。
• 当使用二叉堆等高效数据结构时，贪心选择的计算成本与随机选择相当，使其在大规模问题中具有实际可行性。