[论文解读] A New Theory for Sketching in Linear Regression.

Edgar Dobriban, Sifan Liu|arXiv (Cornell University)|Oct 14, 2018

Random Matrices and Applications参考文献 16被引用 11

一句话总结

本文提出了一种新颖的理论框架，结合渐近随机矩阵理论与自由概率理论，精确量化线性回归中基于压缩的精度损失。该框架为多种压缩方法提供了精确的、闭式表达的性能退化公式——超越了近似界——在模拟和真实数据中均表现出高度准确性。

ABSTRACT

Large datasets create opportunities as well as analytic challenges. A recent development is to use random projection or sketching methods for dimension reduction in statistics and machine learning. In this work, we study the statistical performance of sketching algorithms for linear regression. Suppose we randomly project the data matrix and the outcome using a random sketching matrix reducing the sample size, and do linear regression on the resulting data. How much do we lose compared to the original linear regression? The existing theory does not give a precise enough answer, and this has been a bottleneck for using random projections in practice. In this paper, we introduce a new mathematical approach to the problem, relying on very recent results from asymptotic random matrix theory and free probability theory. This is a perfect fit, as the sketching matrices are random in practice. We allow the dimension and sample sizes to have an arbitrary ratio. We study the most popular sketching methods in a unified framework, including random projection methods (Gaussian and iid projections, uniform orthogonal projections, subsampled randomized Hadamard transforms), as well as sampling methods (including uniform, leverage-based, and greedy sampling). We find precise and simple expressions for the accuracy loss of these methods. These go beyond classical Johnson-Lindenstrauss type results, because they are exact, instead of being bounds up to constants. Our theoretical formulas are surprisingly accurate in extensive simulations and on two empirical datasets.

研究动机与目标

• 解决当前对基于压缩的线性回归中精度损失缺乏精确理论理解的问题。
• 开发一个适用于多种压缩方法（包括随机投影和采样技术）的统一框架。
• 超越近似Johnson-Lindenstrauss型界，推导出性能退化的精确表达式。
• 通过量化其统计代价，使压缩在大规模回归中的可靠实际应用成为可能。

提出的方法

• 利用渐近随机矩阵理论与自由概率理论的最新进展，对压缩矩阵的行为进行建模。
• 分析在任意维度与样本量比值下，压缩回归估计量的极限谱分布。
• 推导出压缩估计量的均方误差相对于完整数据最小二乘解的精确表达式。
• 将该框架应用于多种压缩方法：高斯分布、i.i.d.、均匀正交、子采样哈达玛变换，以及基于采样的方法（均匀、杠杆值基于、贪婪）。
• 利用随机矩阵理论中的确定性等价物，以高精度近似压缩估计量的风险。
• 通过大量模拟和真实数据集上的实证评估，验证理论预测。

实验结果

研究问题

• RQ1 在压缩的线性回归中，其精确的统计代价是什么，超越渐近界？
• RQ2 在任意维度与样本量比值下，不同压缩方法的精度损失如何变化？
• RQ3 一个统一的理论框架能否准确预测多种压缩技术在回归中的性能？
• RQ4 理论预测在真实世界数据集中的表现与实际性能在多大程度上吻合？
• RQ5 在精度损失方面，基于杠杆值和贪婪采样方法与随机投影方法相比如何？

主要发现

• 所提出的理论为基于压缩的线性回归中的精度损失提供了精确的闭式表达式，超越了经典界。
• 理论公式在各种压缩方法和数据场景下与模拟结果高度一致。
• 在相同条件下，基于杠杆值和贪婪采样的方法表现出显著低于均匀或随机投影方法的精度损失。
• 该框架在两个实证数据集上准确预测了性能，验证了其实际相关性。
• 该方法揭示了压缩的渐近行为在很大程度上取决于压缩矩阵的谱特性，而这些特性由自由概率工具所捕捉。
• 结果表明，由于理论损失可被精确量化且通常较小，因此可在大规模回归中高枕无忧地使用压缩技术。