[论文解读] A Statistical Perspective on Randomized Sketching for Ordinary Least-Squares

Garvesh Raskutti, Michael W. Mahoney|arXiv (Cornell University)|Jun 23, 2014

Sparse and Compressive Sensing Techniques参考文献 26被引用 18

一句话总结

本文提出了一套统一的统计与算法框架，用于分析普通最小二乘回归中的随机化压缩（sketching）。研究证明，在 $ r lessapprox p \ll n $ 条件下可实现残差效率，而预测效率则需要显著更大的压缩尺寸，针对随机投影和采样方法，为两种度量提供了紧致的上下界。

ABSTRACT

We consider statistical as well as algorithmic aspects of solving large-scale least-squares (LS) problems using randomized sketching algorithms. For a LS problem with input data $(X, Y) \in \mathbb{R}^{n imes p} imes \mathbb{R}^n$, sketching algorithms use a sketching matrix, $S\in\mathbb{R}^{r imes n}$ with $r \ll n$. Then, rather than solving the LS problem using the full data $(X,Y)$, sketching algorithms solve the LS problem using only the sketched data $(SX, SY)$. Prior work has typically adopted an algorithmic perspective, in that it has made no statistical assumptions on the input $X$ and $Y$, and instead it has been assumed that the data $(X,Y)$ are fixed and worst-case (WC). Prior results show that, when using sketching matrices such as random projections and leverage-score sampling algorithms, with $p < r \ll n$, the WC error is the same as solving the original problem, up to a small constant. From a statistical perspective, we typically consider the mean-squared error performance of randomized sketching algorithms, when data $(X, Y)$ are generated according to a statistical model $Y = X β+ ε$, where $ε$ is a noise process. We provide a rigorous comparison of both perspectives leading to insights on how they differ. To do this, we first develop a framework for assessing algorithmic and statistical aspects of randomized sketching methods. We then consider the statistical prediction efficiency (PE) and the statistical residual efficiency (RE) of the sketched LS estimator; and we use our framework to provide upper bounds for several types of random projection and random sampling sketching algorithms. Among other results, we show that the RE can be upper bounded when $p < r \ll n$ while the PE typically requires the sample size $r$ to be substantially larger. Lower bounds developed in subsequent results show that our upper bounds on PE can not be improved.

研究动机与目标

• 统一随机化压缩在大规模最小二乘问题中的算法与统计视角。
• 分析在线性模型 $ Y = X\beta + \epsilon $ 下压缩估计量的统计性能。
• 推导随机投影与采样压缩矩阵在统计预测效率（PE）和残差效率（RE）上的上界。
• 证明预测效率所需压缩尺寸显著大于残差效率，并通过下界分析证明这些上界是紧致的。

提出的方法

• 构建统一框架，评估随机化压缩方法的算法与统计特性。
• 分析通过求解 $ \min_\beta \|SY - SX\beta\|_2^2 $ 得到的压缩最小二乘估计量 $ \beta_S $，其中压缩矩阵 $ S \in \mathbb{R}^{r \times n} $ 满足 $ r \ll n $。
• 引入并界定了两种统计性能度量：压缩估计量的预测效率（PE）与残差效率（RE）。
• 利用集中不等式与迹分析方法，界定向量矩阵 $ U $（即 $ X $ 的右奇异向量矩阵）的 $ \mathbb{E}[\|U^T S^T S U\|_F^2] $ 的期望 Frobenius 范数。
• 应用马尔可夫不等式及已有基于哈达玛矩阵的压缩结果，推导压缩系统条件数与误差放大率的高概率界。
• 推导下界，证明预测效率的上界无法改进，从而确立分析的紧致性。

实验结果

研究问题

• RQ1 随机化压缩在最小二乘问题中的算法视角与统计视角在性能保证上存在哪些差异？
• RQ2 在何种压缩尺寸条件下，压缩最小二乘估计量可在统计模型中实现残差效率（RE）？
• RQ3 压缩估计量实现预测效率（PE）所需压缩尺寸是多少？与RE相比如何？
• RQ4 能否改进PE的上界？还是说这些上界已为紧致？
• RQ5 不同压缩方法——随机投影与随机采样——在统计效率方面有何比较？

主要发现

• 当 $ p \lesssim r \ll n $ 时，残差效率（RE）可被上界控制，表明即使压缩尺寸较小，压缩仍能良好保持残差误差。
• 预测效率（PE）通常要求压缩尺寸 $ r $ 显著大于 $ p $，揭示了RE与PE在统计性能上存在根本性差距。
• PE的上界是紧致的，通过匹配的下界得到验证，证明所推导的界无法进一步改进。
• 对于高斯随机投影，压缩系统条件数 $ \gamma(S) $ 以高概率满足 $ 1 + \frac{n+1}{r} $，表明具有良好的稳定性。
• 对于基于哈达玛矩阵的压缩，分析利用已有集中结果界定向量 $ \|U^T S^T S \|_F^2 / p $，表明以至少 0.9 的概率满足 $ \gamma(S) \leq 11(1 + \frac{n+1}{r}) $。
• 分析确认，随机采样压缩（SGP）满足 $ \mathbb{E}[\|U^T S^T S U\|_F^2 / p] \leq 1 + \frac{n+1}{r} $，支持其统计鲁棒性。