[论文解读] Convergence properties of the randomized extended Gauss-Seidel and Kaczmarz methods

Anna Ma, Deanna Needell+1 more|arXiv (Cornell University)|Mar 27, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用 9

一句话总结

本文为随机化Kaczmarz（RK）与高斯-赛德尔（RGS）方法提出统一的理论框架，引入随机化扩展高斯-赛德尔（REGS）算法，确保在欠定系统中线性收敛至最小范数解——而标准RGS在此类系统中会失效。该文证明REGS在期望下线性收敛至最小欧几里得范数解，完整建立了两种方法在所有系统设定（超定/不一致、超定/一致、欠定）下的理论图景。

ABSTRACT

The Kaczmarz and Gauss-Seidel methods both solve a linear system $\bf{X}\bfβ = \bf{y}$ by iteratively refining the solution estimate. Recent interest in these methods has been sparked by a proof of Strohmer and Vershynin which shows the randomized Kaczmarz method converges linearly in expectation to the solution. Lewis and Leventhal then proved a similar result for the randomized Gauss-Seidel algorithm. However, the behavior of both methods depends heavily on whether the system is under or overdetermined, and whether it is consistent or not. Here we provide a unified theory of both methods, their variants for these different settings, and draw connections between both approaches. In doing so, we also provide a proof that an extended version of randomized Gauss-Seidel converges linearly to the least norm solution in the underdetermined case (where the usual randomized Gauss Seidel fails to converge). We detail analytically and empirically the convergence properties of both methods and their extended variants in all possible system settings. With this result, a complete and rigorous theory of both methods is furnished.

研究动机与目标

• 解决随机化Kaczmarz与高斯-赛德尔方法在所有系统类型（超定/不一致、超定/一致、欠定）下缺乏完整理论框架的问题。
• 解决标准RGS在欠定系统中无法收敛至最小范数解的问题，因其会偏离目标解。
• 开发并分析RGS的一种扩展变体——随机化扩展高斯-赛德尔（REGS）——确保其在欠定设定下线性收敛至最小范数解。
• 通过对比RK、RGS、REK与REGS在所有系统配置下的表现，建立统一的收敛性理论。
• 通过实验验证理论收敛界之紧致性，并展示REGS相较于现有方法的实际有效性。

提出的方法

• 提出随机化扩展高斯-赛德尔（REGS）算法，作为标准RGS方法的扩展，旨在欠定系统中收敛至最小范数解。
• 通过引入一种追踪残差信息的对偶更新机制，将RGS的随机坐标下降框架加以扩展，其方式类似于REK对RK的扩展。
• 采用随机行/列选择策略，每轮迭代中随机选择矩阵 $\mathbf{X}$ 的一列，以更新解估计 $\boldsymbol{\beta}$，使对应坐标方向的残差最小化。
• 采用基于投影的更新规则，确保解在满足系统约束的同时，最小化欠定情形下的 $\|\boldsymbol{\beta}\|_2^2$。
• 推导出期望 $\ell_2$-误差 $\|\boldsymbol{\beta}_t^{LN} - \boldsymbol{\beta}_{LN}\|_2^2$ 的理论上界，证明其在期望下具有线性收敛性。
• 通过分析RK、RGS、REK与REGS在三种典型设定下的性能，建立其收敛行为之间的联系：超定一致、超定不一致、欠定系统。

实验结果

研究问题

• RQ1 为何标准随机化高斯-赛德尔（RGS）方法在欠定系统中无法收敛至最小范数解，尽管其在超定系统中可收敛至最小二乘解？
• RQ2 能否构造一种RGS的扩展版本，使其在欠定系统中确保线性收敛至最小范数解，如同扩展Kaczmarz（REK）在超定不一致情形中的成功表现？
• RQ3 所提出的REGS算法的理论收敛速率为何？其在不同系统配置下与现有方法相比如何？
• RQ4 REGS的理论收敛界与模拟中的实际性能相比如何，特别是在紧致性与实际收敛速度方面？
• RQ5 Kaczmarz与高斯-赛德尔方法在结构与算法上存在哪些相似之处？如何将它们统一于单一理论框架之下？

主要发现

• 标准随机化高斯-赛德尔（RGS）方法在超定一致与不一致系统中，以期望方式线性收敛至最小二乘解，但在欠定系统中无法收敛至最小范数解。
• 所提出的随机化扩展高斯-赛德尔（REGS）算法在欠定系统中，以期望方式线性收敛至最小范数解 $\boldsymbol{\beta}_{LN}$，如定理1中正式证明。
• REGS实现了线性收敛，其期望 $\ell_2$-误差的理论上限与模拟中观测到的实际收敛速率一致，表明理论界具有紧致性。
• 在模拟中，REGS的收敛速度与扩展Kaczmarz（REK）方法相当，而RK与RGS在达到相同误差阈值时的迭代次数均快于其扩展版本。
• 对于欠定情形，RK收敛至最小范数解，而RGS不能——凸显了两种方法的互补性，也说明REGS在实现一致最小范数恢复中的必要性。
• 在合成数据与断层扫描问题（如 $700 \times 1000$ 矩阵）上的实证结果表明，REGS实现快速收敛，通常在实际中优于理论最坏情况边界。