[论文解读] A fast algorithm for computing minimal-norm solutions to underdetermined systems of linear equations

Mark Tygert|ArXiv.org|May 28, 2009

Sparse and Compressive Sensing Techniques参考文献 11被引用 10

一句话总结

该论文提出了一种随机算法，通过 $ \mathcal{O}(mn\log(\sqrt{n}/\varepsilon) + m^3) $ 次运算，高效计算欠定线性系统 $ A\mathbf{p} = \mathbf{b} $ 的最小范数解（其中 $ m < n $），显著快于经典方法的 $ \mathcal{O}(m^2n) $ QR 或双对角化方法，尤其在 $ n \gg m $ 时优势明显。该方法利用子采样随机傅里叶变换（SRFT）加速矩阵-向量乘积，以高概率实现高精度解。

ABSTRACT

We introduce a randomized algorithm for computing the minimal-norm solution to an underdetermined system of linear equations. Given an arbitrary full-rank m x n matrix A with m

研究动机与目标

• 开发一种更快的算法，用于计算欠定线性系统 $ A\mathbf{p} = \mathbf{b} $ 的最小欧氏范数解（其中 $ m < n $）。
• 将计算成本降低至经典 QR 或双对角化方法的 $ \mathcal{O}(m^2n) $ 边界以下。
• 通过随机化方法以高概率实现相对误差 $ \leq \varepsilon $ 的高精度解。
• 实现对大规模欠定系统（其中 $ n \gg m $）的高效求解，此类系统在现代数据分析中极为常见。

提出的方法

• 该算法利用子采样随机傅里叶变换（SRFT）快速应用 $ A $ 和 $ A^* $ 到任意向量，从而降低矩阵-向量乘积的计算成本。
• 通过 SRFT 实施随机预处理，将问题投影到低维空间，同时保持解的结构特性。
• 通过迭代修正求解投影后的系统，获得近似解，并基于测度集中性理论推导误差界。
• SRFT 矩阵 $ T_{l \times n} = G_{l \times n} H_{n \times n} $ 结合了随机采样、离散傅里叶变换和随机对角缩放，实现快速且稳定的变换。
• 该算法依赖理论界（引理 3.1、引理 5.2、定理 5.4）确保在 $ l \approx 4m $ 时以高概率成功。
• 在投影系统上使用共轭梯度法进行迭代精化，以低开销实现高精度。

实验结果

研究问题

• RQ1 随机算法能否比经典 QR 或双对角化方法更快地求得欠定系统的最小范数解？
• RQ2 使用随机投影计算高精度最小范数解的计算成本是多少？
• RQ3 当 $ n \gg m $ 时，基于随机 SRFT 的算法在 $ m $ 和 $ n $ 上的计算性能如何扩展？
• RQ4 失败概率是多少？能否通过随机矩阵理论进行界定？
• RQ5 当 $ A $ 和 $ A^* $ 能够快速作用于向量时，该算法是否还能进一步加速？

主要发现

• 该算法以高概率实现相对误差 $ \|\mathbf{x} - \mathbf{p}\| \leq \varepsilon \|\mathbf{p}\| $，其中 $ \mathbf{p} $ 为最小范数解。
• 当 $ m = 512 $，$ n = 16384 $，条件数 $ \kappa_A = 10^6 $ 时，该算法在全双精度下比经典 QR 方法快 3 倍。
• 当 $ n = 16384 $ 时，该算法在 $ m = 512 $ 的情况下比经典方法快最多 3 倍，且随着 $ n $ 增大，加速比进一步提升。
• 在 10 次试验中的平均运行时间稳定，$ \varepsilon_{\rm r} $ 值在 $ 1.1 \times 10^{-15} $ 到 $ 2.9 \times 10^{-14} $ 之间，表明精度极高。
• 选择 $ l = 4m $ 可确保失败概率可忽略不计，因为在大量数值试验中未观察到任何失败。
• 该算法的计算复杂度 $ \mathcal{O}(mn\log(\sqrt{n}/\varepsilon) + m^3) $ 在 $ n \gg m $ 时渐近低于经典方法的 $ \mathcal{O}(m^2n) $。