[论文解读] Greedy Block Gauss-Seidel Methods for Solving Large Linear Least Squares Problem

Hanyu Li, Yanjun Zhang|arXiv (Cornell University)|Apr 6, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用 6

一句话总结

本文提出了一种贪心块高斯-赛德尔（GBGS）方法及其无伪逆变体（PGBGS），用于求解大规模线性最小二乘问题。通过在每次迭代中贪心地选择多个坐标块，并利用块高斯-赛德尔步骤进行更新，GBGS方法的收敛因子显著小于贪心随机坐标下降（GRCD）方法，从而减少迭代次数并实现更快收敛；PGBGS通过避免昂贵的伪逆计算进一步提升了性能。

ABSTRACT

With a greedy strategy to construct control index set of coordinates firstly and then choosing the corresponding column submatrix in each iteration, we present a greedy block Gauss-Seidel (GBGS) method for solving large linear least squares problem. Theoretical analysis demonstrates that the convergence factor of the GBGS method can be much smaller than that of the greedy randomized coordinate descent (GRCD) method proposed recently in the literature. On the basis of the GBGS method, we further present a pseudoinverse-free greedy block Gauss-Seidel method, which doesn't need to calculate the Moore-Penrose pseudoinverse of the column submatrix in each iteration any more and hence can be achieved greater acceleration. Moreover, this method can also be used for distributed implementations. Numerical experiments show that, for the same accuracy, our methods can far outperform the GRCD method in terms of the iteration number and computing time.

研究动机与目标

• 解决现有迭代方法在大规模线性最小二乘问题中因计算成本高和收敛慢而导致的效率低下问题。
• 通过引入块选择实现多个坐标的并行更新，克服GRCD等方法中单坐标更新的局限性。
• 开发一种无伪逆变体，以在保持快速收敛的同时降低计算开销。
• 通过消除每次迭代中昂贵的Moore-Penrose伪逆计算，实现分布式计算的可行性。
• 在稠密和稀疏矩阵上，与最先进的GRCD方法相比，展示出在迭代次数和计算时间上的优越性能。

提出的方法

• 提出一种贪心块高斯-赛德尔（GBGS）方法，每次迭代基于贪心策略选择一组坐标索引，以最大化残差误差的减少。
• 使用块更新规则：$ x_{k+1} = x_k + I_{ au} A^{ op}_{ au} (b - A x_k) $，其中 $ A_{ au}^{ op} $ 为所选列子矩阵的Moore-Penrose伪逆。
• 提出一种结合残差幅值与列范数的贪心选择准则，以形成控制索引集 $ au $，确保快速收敛。
• 开发一种无伪逆贪心块高斯-赛德尔（PGBGS）方法，通过基于法方程的改进更新方案避免计算 $ A^{ op}_{ au} $。
• 采用线搜索参数 $ ho_k $ 以确保目标函数的充分下降，提升稳定性和收敛速度。
• PGBGS方法在显著降低每次迭代计算成本的同时保持收敛性保证，从而支持高效的分布式计算。

实验结果

研究问题

• RQ1 在高斯-赛德尔方法中，贪心块选择策略是否能实现小于GRCD方法的收敛因子？
• RQ2 用更高效的方案替代块更新中的伪逆计算，是否能在不牺牲收敛性的情况下提升计算效率？
• RQ3 由于每次迭代计算依赖性降低，所提出的PGBGS方法是否可在分布式环境中有效实现？
• RQ4 在稠密和稀疏矩阵上，GBGS与PGBGS方法与GRCD方法在迭代次数、计算时间及总浮点运算量（flops）方面有何对比？
• RQ5 每次迭代中贪心选择多个坐标与单坐标更新相比，能在多大程度上加速收敛？

主要发现

• GBGS方法的收敛因子显著小于GRCD方法，因此在相同精度下迭代次数更少。
• 对于相同的精度（$ exttt{RES} < 10^{-6} $），GBGS方法在稠密和稀疏矩阵上均显著少于GRCD方法的迭代次数。
• 尽管总浮点运算量相似，PGBGS方法通过消除昂贵的伪逆计算，更有效地减少了计算时间。
• 在大小为 $ 5000 imes 1000 $ 和 $ 5000 imes 2000 $ 的稠密矩阵上，PGBGS方法实现了最低的CPU时间，显著优于GRCD。
• 在University of Florida稀疏矩阵库中的abtaha1和ash958矩阵上，GBGS与PGBGS方法相比GRCD显著减少了迭代次数和计算时间。
• PGBGS方法的浮点运算量与GRCD几乎相同，但通过高效的块更新和无伪逆计算，实现了更快的收敛速度。