[论文解读] Fast and Accurate Least-Mean-Squares Solvers

Alaa Maalouf, Ibrahim Jubran+1 more|arXiv (Cornell University)|Jun 11, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用 10

一句话总结

该论文提出了一种新颖、快速且数值稳定的算法，用于从 $ n $ 个输入向量中计算出 $ d+1 $ 个向量的加权子集，以保持总和不变，该方法融合了随机投影（sketches）与核心集（coresets）技术。其时间复杂度为 $ O(nd) $，远快于原始 Carathéodory 定理的 $ O(n^2d^2) $，使得 scikit-learn 等 LMS 求解器的性能最高可提升 100 倍，同时保持高精度。

ABSTRACT

Least-mean squares (LMS) solvers such as Linear / Ridge / Lasso-Regression, SVD and Elastic-Net not only solve fundamental machine learning problems, but are also the building blocks in a variety of other methods, such as decision trees and matrix factorizations. We suggest an algorithm that gets a finite set of $n$ $d$-dimensional real vectors and returns a weighted subset of $d+1$ vectors whose sum is \emph{exactly} the same. The proof in Caratheodory's Theorem (1907) computes such a subset in $O(n^2d^2)$ time and thus not used in practice. Our algorithm computes this subset in $O(nd+d^4\log{n})$ time, using $O(\log n)$ calls to Caratheodory's construction on small but "smart" subsets. This is based on a novel paradigm of fusion between different data summarization techniques, known as sketches and coresets. For large values of $d$, we suggest a faster construction that takes $O(nd)$ time (linear in the input's size) and returns a weighted subset of $O(d)$ sparsified input points. Here, sparsified point means that some of its entries were replaced by zeroes. As an example application, we show how it can be used to boost the performance of existing LMS solvers, such as those in scikit-learn library, up to x100. Generalization for streaming and distributed (big) data is trivial. Extensive experimental results and complete open source code are also provided.

研究动机与目标

• 解决传统最小二乘（LMS）求解器（如线性回归、岭回归和套索回归）存在的高计算成本与数值不稳定性问题。
• 将 Carathéodory 定理的应用速度从 $ O(n^2d^2) $ 加速至 $ O(nd) $，实现近线性时间复杂度。
• 通过最小化协方差矩阵计算过程中的误差累积，提升在 GPU 和 32 位浮点数环境下的数值稳定性。
• 通过核心集技术在不损失精度的前提下减小输入规模，实现大规模与流式数据的高效、可扩展及分布式处理。

提出的方法

• 融合随机投影与核心集技术，基于 Carathéodory 定理，计算一个加权子集 $ d+1 $ 个向量，使其精确保持原始 $ n $ 个向量的总和。
• 通过 $ O(\log n) $ 次对小型、智能选择子集调用 Carathéodory 构造，实现 $ O(nd + d^4 \log n) $ 的时间复杂度。
• 提出一种线性时间 $ O(nd) $ 变体，适用于大规模 $ n $，返回一个稀疏加权子集，其中包含 $ O(d) $ 个点，部分条目被置零。
• 将计算得到的核心集 $ S $ 用于替换 LMS 求解器中的原始数据矩阵 $ A $，以保持协方差矩阵 $ A^T A $ 不变。
• 在缩减后的核心集 $ S $ 上应用 SVD，而非完整的 $ A $，显著降低计算时间与数值误差。
• 采用两阶段随机投影方法，参数设置为 $ k_1 = 2d' + 2 $，$ k_2 = \lceil (d+1)^2 / d' \rceil $，$ \rho = 0.5 $，以平衡精度与效率。

实验结果

研究问题

• RQ1 能否通过将 Carathéodory 定理的时间复杂度从 $ O(n^2d^2) $ 降低至接近线性 $ O(nd) $，使其在实际中可应用？
• RQ2 随机投影与核心集的融合能否产生一种数值稳定、快速且精确的传统 LMS 求解器替代方案？
• RQ3 基于核心集的方法在多大程度上能提升现有 LMS 求解器（如 scikit-learn 中的求解器）的性能？
• RQ4 该方法在不同数据规模、维度和浮点精度下的时间效率与精度表现如何？
• RQ5 该框架能否在流式处理、分布式计算及 GPU 加速环境中实现，且开销极小？

主要发现

• 所提算法在 $ O(nd + d^4 \log n) $ 时间内计算出 Carathéodory 子集，相比原始定理的 $ O(n^2d^2) $ 时间有显著提升。
• 对于大规模 $ n $，算法实现 $ O(nd) $ 时间复杂度，与输入规模呈线性关系，支持对高维数据的近实时处理。
• 该方法使现有 LMS 求解器（如 scikit-learn 中的求解器）的运行时间最高提升 100 倍，同时保持或提升数值精度。
• 实验表明，与 SKETCH + SVD 方法相比，基于核心集的方法在 32 位浮点数环境中显著降低了数值误差，尤其在误差累积较高的场景下。
• 该框架可轻松推广至流式与分布式数据处理，核心算法仅需极少修改。
• 在合成数据与真实数据集上的大量实验验证了该方法在不同维度、数据规模与分布下的鲁棒性，误差直方图显示误差紧密聚集于零附近。