[论文解读] LSRN: A Parallel Iterative Solver for Strongly Over- or Under-Determined Systems

Xiangrui Meng, Michael A. Saunders+1 more|arXiv (Cornell University)|Sep 27, 2011

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

LSRN 是一种用于大规模、强超定或欠定且可能秩亏的最小二乘问题的并行迭代求解器。它使用随机正态投影进行预条件处理，使 LSQR 或切比雪夫半迭代法能够快速收敛，并在共享内存和集群系统上实现可预测的性能与出色的可扩展性，相较于 LAPACK 和 MATLAB 求解器，在大规模稀疏和稠密问题上表现更优。

ABSTRACT

We describe a parallel iterative least squares solver named exttt{LSRN} that is based on random normal projection. exttt{LSRN} computes the min-length solution to $\min_{x \in \mathbb{R}^n} \|A x - b\|_2$, where $A \in \mathbb{R}^{m imes n}$ with $m \gg n$ or $m \ll n$, and where $A$ may be rank-deficient. Tikhonov regularization may also be included. Since $A$ is only involved in matrix-matrix and matrix-vector multiplications, it can be a dense or sparse matrix or a linear operator, and exttt{LSRN} automatically speeds up when $A$ is sparse or a fast linear operator. The preconditioning phase consists of a random normal projection, which is embarrassingly parallel, and a singular value decomposition of size $\lceil γ\min(m,n) ceil imes \min(m,n)$, where $γ$ is moderately larger than 1, e.g., $γ= 2$. We prove that the preconditioned system is well-conditioned, with a strong concentration result on the extreme singular values, and hence that the number of iterations is fully predictable when we apply LSQR or the Chebyshev semi-iterative method. As we demonstrate, the Chebyshev method is particularly efficient for solving large problems on clusters with high communication cost. Numerical results demonstrate that on a shared-memory machine, exttt{LSRN} outperforms LAPACK's DGELSD on large dense problems, and MATLAB's backslash (SuiteSparseQR) on sparse problems. Further experiments demonstrate that exttt{LSRN} scales well on an Amazon Elastic Compute Cloud cluster.

研究动机与目标

• 开发一种可扩展的、用于大规模线性最小二乘问题的并行迭代求解器，这些问题具有强超定或欠定特性，且可能秩亏。
• 通过基于随机投影的预条件处理，严格保证系统条件良好，从而实现可预测的运行时间性能。
• 通过利用并行计算和自动稀疏性感知能力，实现在稠密矩阵和稀疏矩阵（包括复杂稀疏模式）上的高性能。
• 在大规模问题上，尤其在欠定和稀疏场景下，超越现有求解器（如 LAPACK 的 DGELSD 和 MATLAB 的 backslash）。
• 通过使用切比雪夫半迭代法作为迭代求解器，在分布式集群上展示出强可扩展性和通信效率。

提出的方法

• LSRN 使用随机正态投影构造预条件矩阵，将其应用于系统 $ Ax \approx b $ 以改善条件。
• 预条件处理步骤涉及大小为 $ \lceil \gamma \min(m,n) \rceil \times \min(m,n) $ 的随机投影，其中 $ \gamma \approx 2 $，支持无需依赖的并行计算。
• 对投影矩阵进行截断奇异值分解（SVD），确保预条件系统具有集中分布的极端奇异值，从而实现快速收敛。
• 迭代阶段使用 LSQR 或切比雪夫半迭代（CS）方法，后者在高通信环境中更优，因其消息传递开销更低。
• 该方法原生支持 Tikhonov 正则化，并能自动适应稀疏矩阵或快速线性算子，无需代码修改。
• LSRN 设计用于通过线程或 MPI 轻松部署，通信量和负载均衡开销极低。

实验结果

研究问题

• RQ1 能否使用随机化预条件策略，为超定和欠定最小二乘问题构建一个可证明条件良好的系统？
• RQ2 使用随机正态投影是否能在共享内存和分布式集群上实现可预测且可扩展的性能？
• RQ3 LSRN 是否能在大规模稀疏或稠密系统上超越成熟的直接求解器（如 LAPACK 的 DGELSD 和 MATLAB 的 backslash）？
• RQ4 在高通信集群环境中，切比雪夫半迭代法是否比 LSQR 更高效？
• RQ5 当问题规模和核心数在异构集群（如 Amazon EC2）上按比例增加时，LSRN 的性能如何扩展？

主要发现

• 在大规模稠密问题上，LSRN 显著优于 LAPACK 的 DGELSD，尤其在欠定情形下，DGELSD 明显更慢。
• 在稀疏问题上，LSRN 显著快于 MATLAB 的 backslash（SuiteSparseQR），后者对稀疏模式敏感且性能不可预测。
• 在 Amazon EC2 集群上，LSRN 展现出良好的可扩展性：当问题规模扩大 10 倍且核心数按比例增加时，总运行时间仅上升 50%。
• 尽管迭代次数更多（106 次 vs. 84 次），切比雪夫半迭代法在集群上优于 LSQR，因其通信成本更低。
• LSRN 一致且可预测地提供最小长度解，即使在秩亏问题上，其他求解器可能失败或产生非最小解。
• LSRN 的性能对稀疏模式不敏感，且能自动加速稀疏或快速线性算子，而其他求解器则依赖于结构特性。