[论文解读] Faster Least Squares Approximation

Petros Drineas, Michael W. Mahoney+2 more|arXiv (Cornell University)|Oct 7, 2007

Sparse and Compressive Sensing Techniques参考文献 19被引用 16

一句话总结

本文提出两种随机化算法，通过使用随机化哈达玛变换对数据进行预处理，随后采用均匀采样约束或稀疏随机投影，加速最小二乘逼近。这些算法在 O(nd ln d) 时间内实现对最优最小二乘解的相对误差逼近，显著快于传统方法在 n ≫ d 情况下的 O(nd²) 时间。

ABSTRACT

Least squares approximation is a technique to find an approximate solution to a system of linear equations that has no exact solution. In a typical setting, one lets $n$ be the number of constraints and $d$ be the number of variables, with $n \gg d$. Then, existing exact methods find a solution vector in $O(nd^2)$ time. We present two randomized algorithms that provide very accurate relative-error approximations to the optimal value and the solution vector of a least squares approximation problem more rapidly than existing exact algorithms. Both of our algorithms preprocess the data with the Randomized Hadamard Transform. One then uniformly randomly samples constraints and solves the smaller problem on those constraints, and the other performs a sparse random projection and solves the smaller problem on those projected coordinates. In both cases, solving the smaller problem provides relative-error approximations, and, if $n$ is sufficiently larger than $d$, the approximate solution can be computed in $O(nd \log d)$ time.

研究动机与目标

• 解决大规模超定问题中精确最小二乘解的计算瓶颈，其中 n ≫ d。
• 开发更快速的算法，保持对最优解向量和残差范数的相对误差逼近保证。
• 将传统方法的 O(nd²) 时间复杂度降低至 O(nd ln d)，同时保持精度。
• 为使用结构化随机投影和采样的随机化算法提供理论运行时间和误差界。

提出的方法

• 对输入矩阵 A 和向量 b 应用随机化哈达玛变换（RHT），降低相干性，从而支持高效采样。
• 从 RHT 变换后的系统中对 r 个约束进行均匀随机采样，求解一个更小的最小二乘问题。
• 应用稀疏随机投影矩阵 T，其稀疏度参数为 q，将变换后的数据投影到低维空间。
• 在采样或投影后的数据上求解约化最小二乘问题，得到近似解向量。
• 利用 SVD 和法方程的性质，将近似解与真实最优解关联起来。
• 使用集中不等式和矩阵尾部界（如马尔可夫不等式）来界定残差和解向量中期望误差的上界。

实验结果

研究问题

• RQ1 能否使用随机采样和投影技术在保持相对误差保证的前提下加速最小二乘逼近？
• RQ2 为实现残差范数的 (1+ε)-相对误差，最少需要采样或投影多少个约束？
• RQ3 A 的条件数以及 b 与 A 列空间的对齐程度如何影响近似解中的误差？
• RQ4 随机化哈达玛变换能否用于预处理数据，使得均匀采样或稀疏投影能产生准确的低秩逼近？
• RQ5 此类算法的理论运行时间是多少？其随 n 和 d 的扩展特性如何？

主要发现

• 所提出的算法以至少 0.8 的概率实现对最优残差范数 ‖Ax−b‖₂ 的 (1+ε)-相对误差逼近。
• 解向量误差满足 ‖x_opt − x̃_opt‖₂ ≤ √ε (κ(A)√(γ⁻²−1)) ‖x_opt‖₂，其中 γ 是 b 的范数在 A 列空间中的占比。
• 当 n 显著大于 d 且小于 e^d 时，算法运行时间为 O(nd ln d)，相比标准 O(nd²) 时间有显著加速。
• 通过重复算法 O(log(1/δ)) 次，可将失败概率降低至 1−δ，且运行时间仅增加常数因子。
• 稀疏随机投影方法使用具有期望 O(nkq) 个非零元素的矩阵 T，时间复杂度受 O(nd) + O(nd log(nkq)) + O(kd²) 限制。
• 通过集中界和矩阵扰动分析（特别是关于投影内积期望误差的引理 9 和引理 10）建立了理论保证。