[论文解读] A Deterministic Streaming Sketch for Ridge Regression

Benwei Shi, Jeff M. Phillips|arXiv (Cornell University)|Feb 5, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用 4

一句话总结

本论文提出了首个用于岭回归的确定性流式算法，该算法在解系数上实现了 $O(d/\varepsilon)$ 的空间复杂度，并保证 $\varepsilon$ 相对误差，通过使用协方差矩阵的频繁方向（Frequent Directions）压缩。该方法在空间与误差的权衡以及查询效率方面优于随机压缩方法，同时保持了强大的理论误差与风险边界保证。

ABSTRACT

We provide a deterministic space-efficient algorithm for estimating ridge regression. For $n$ data points with $d$ features and a large enough regularization parameter, we provide a solution within $\varepsilon$ L$_2$ error using only $O(d/\varepsilon)$ space. This is the first $o(d^2)$ space deterministic streaming algorithm with guaranteed solution error and risk bound for this classic problem. The algorithm sketches the covariance matrix by variants of Frequent Directions, which implies it can operate in insertion-only streams and a variety of distributed data settings. In comparisons to randomized sketching algorithms on synthetic and real-world datasets, our algorithm has less empirical error using less space and similar time.

研究动机与目标

• 设计一种空间高效、确定性的流式岭回归算法，实现 $o(d^2)$ 的空间复杂度，同时保持可证明的误差界。
• 克服现有随机压缩方法的局限性，这些方法或缺乏确定性，或不支持流式处理，或在低内存环境下缺乏强误差保证。
• 证明频繁方向压缩在大 $d$ 和高精度需求下，相比随机投影能实现更优的空间-误差权衡，尤其适用于岭回归。
• 提供与压缩矩阵选择无关的方差独立的风险边界，优于以往的随机方法。
• 通过实验验证，所提方法在高维设置下，相比竞争方法能实现更低的经验误差与更快的查询速度。

提出的方法

• 该算法使用频繁方向（FD）压缩将数据矩阵 $\mathbf{A} \in \mathbb{R}^{n \times d}$ 压缩为更小的矩阵 $\mathbf{B} \in \mathbb{R}^{\ell \times d}$，其中 $\ell = O(1/\varepsilon)$，以保留岭回归所需的协方差结构。
• 它在数据流上单次遍历中维护 $\mathbf{A}^\top\mathbf{A}$ 和 $\mathbf{A}^\top\mathbf{b}$ 的确定性压缩，支持高效的在线计算。
• 该方法利用了较大的正则化参数 $\gamma$ 可使 FD 在仅 $O(d/\varepsilon)$ 空间下保留岭回归解的 $\varepsilon$ 相对误差。
• 解的计算形式为 $\hat{\mathbf{x}}_\gamma = (\mathbf{B}^\top\mathbf{B} + \gamma\mathbf{I})^{-1}\mathbf{B}^\top\mathbf{b}$，使用压缩矩阵 $\mathbf{B}$ 代替原始矩阵 $\mathbf{A}$。
• 理论分析证明了解系数的误差被限制在 $\varepsilon$ 相对误差范围内，且风险边界具有与压缩矩阵选择无关的方差。
• 由于频繁方向的性质，该算法支持仅插入流式和分布式计算环境。

实验结果

研究问题

• RQ1 能否设计出一种空间复杂度为 $o(d^2)$ 且具有可证明误差边界的确定性流式岭回归算法？
• RQ2 在 $d$ 较大且精度要求高的情况下，频繁方向压缩是否相比随机投影能提供更优的空间-误差权衡？
• RQ3 岭回归中的正则化是否能为确定性压缩提供强于普通最小二乘法的理论保证？
• RQ4 在误差、空间使用和查询时间方面，所提方法与随机压缩方法相比表现如何？
• RQ5 误差的理论界是否紧致？是否还能进一步改进？

主要发现

• 所提算法实现了 $O(d/\varepsilon)$ 的空间复杂度，属于 $o(d^2)$，并保证了岭回归解系数的 $\varepsilon$ 相对误差。
• 在经验误差方面，该方法优于随机压缩方法（如随机投影、CountSketch），尤其在低内存使用时；RFDrr 变体在大多数设置下实现了最低的系数误差。
• 对于 FD 基算法，查询时间随 $d$ 线性增长，而随机方法则呈立方增长，因此在 $d$ 较大时 FD 基方法显著更高效。
• 该算法维持了强风险边界，其方差与压缩矩阵选择无关，这是对以往随机方法的重要改进。
• 实验表明，FD 基算法在空间/时间/误差权衡中始终能稳定达到接近最优的点，优于随机方法及其他确定性方法。
• 理论分析表明，$O(1/\varepsilon)$ 的压缩大小可能已是最优，因为进一步改进将需要 $\Omega(1/\varepsilon^2)$ 的空间，与随机投影的下界一致。