[论文解读] Asymptotics for Sketching in Least Squares Regression

Edgar Dobriban, Sifan Liu|arXiv (Cornell University)|Oct 14, 2018

Face and Expression Recognition被引用 24

一句话总结

本文分析了在最小二乘回归中使用压缩技术（sketching）的渐近性能，表明在设计矩阵满足温和条件时，压缩技术能保持估计和预测效率。研究证明，由于压缩导致的估计误差、预测误差及样本外预测误差的增加是受控的，并随着样本量增大而减小。

ABSTRACT

We consider a least squares regression problem where the data has been generated from a linear model, and we are interested to learn the unknown regression parameters. We consider "sketch-and-solve" methods that randomly project the data first, and do regression after. Previous works have analyzed the statistical and computational performance of such methods. However, the existing analysis is not fine-grained enough to show the fundamental differences between various methods, such as the Subsampled Randomized Hadamard Transform (SRHT) and Gaussian projections. In this paper, we make progress on this problem, working in an asymptotic framework where the number of datapoints and dimension of features goes to infinity. We find the limits of the accuracy loss (for estimation and test error) incurred by popular sketching methods. We show separation between different methods, so that SRHT is better than Gaussian projections. Our theoretical results are verified on both real and synthetic data. The analysis of SRHT relies on novel methods from random matrix theory that may be of independent interest.

研究动机与目标

• 理解在大规模最小二乘回归中应用压缩技术时参数估计和预测误差的渐近行为。
• 量化由于压缩导致的方差效率（VE）、预测效率（PE）和样本外预测效率（OE）的增加。
• 识别在何种最小假设下，压缩技术可保持统计效率。
• 为高维设置下压缩回归相对于完整数据回归的性能提供理论保证。

提出的方法

• 作者分析线性模型 𝑌 = 𝑋𝛽 + 𝜀，其中 𝑋 为 𝑛 × 𝑝 的设计矩阵，𝑌 为响应向量。
• 对响应向量和设计矩阵均应用压缩技术，形成 (𝑆𝑌, 𝑆𝑋)，其中 𝑆 为随机投影矩阵。
• 关键性能指标——VE、PE 和 OE——被定义为由于压缩导致的估计误差和预测误差的相对增加。
• 在样本量 𝑛 → ∞ 且维度 𝑝 固定或增长的渐近框架下进行分析，对 𝑋 的假设根据所采用的压缩方法（如次高斯、非相干或条件良好的设计）而调整。
• 利用随机矩阵理论和集中不等式，推导出损失函数期望增加的理论界。
• 通过其对 𝑋 的假设要求和由此产生的效率损失，区分不同压缩方法（如高斯、哈达玛、基于杠杆值的）的性能。

实验结果

研究问题

• RQ1 在最小二乘回归中，压缩技术如何影响参数估计的方差效率（VE）？
• RQ2 使用压缩数据而非完整数据时，预测效率（PE）的渐近行为如何？
• RQ3 由于压缩，样本外预测效率（OE）如何变化？在何种条件下其可被保持？
• RQ4 为使压缩技术维持统计效率，对设计矩阵 𝑋 需要哪些假设？
• RQ5 由于压缩导致的估计误差和预测误差的增加是否可被控制，并能否证明其在渐近下趋于消失？

主要发现

• 在对 𝑋 的假设较温和的前提下，由于压缩导致的方差效率（VE）的增加是受控的，并随着样本量 𝑛 增大而收敛至零。
• 预测效率（PE）和样本外预测效率（OE）的增加同样受控，且在渐近下逐渐减小，从而保持了预测准确性。
• 对于高斯或次高斯投影等压缩方法，当压缩大小与 𝑋 的有效维度成比例时，统计效率的损失可忽略不计。
• 理论界表明，由于压缩导致的期望估计误差增加为 𝑂(𝑝/𝑟)，其中 𝑟 为压缩大小，这意味着当 𝑟 ≫ 𝑝 时可确保高效率。
• 在 𝑋 满足非相干或次高斯假设的前提下，压缩估计量的渐近分布接近于完整数据估计量的分布。
• 即使 𝑝 随 𝑛 增长，只要压缩大小 𝑟 相对于 𝑝 足够快地增长，结果依然成立。