[论文解读] A Statistical Perspective on Algorithmic Leveraging

Ping Ma, Michael W. Mahoney+1 more|arXiv (Cornell University)|Jun 23, 2013

Statistical Methods and Inference参考文献 41被引用 138

一句话总结

本文首次对线性回归中的算法性杠杆作用进行了统计分析，表明基于杠杆的采样在偏差和方差方面并不优于均匀采样——尽管其在算法上具有优势。本文提出了两种新方法：SLEV（收缩杠杆得分）和 LEVUNW（无权重最小二乘法），在相同计算预算下提升了估计精度，并通过合成数据和真实数据的实证验证得到支持。

ABSTRACT

One popular method for dealing with large-scale data sets is sampling. For example, by using the empirical statistical leverage scores as an importance sampling distribution, the method of algorithmic leveraging samples and rescales rows/columns of data matrices to reduce the data size before performing computations on the subproblem. This method has been successful in improving computational efficiency of algorithms for matrix problems such as least-squares approximation, least absolute deviations approximation, and low-rank matrix approximation. Existing work has focused on algorithmic issues such as worst-case running times and numerical issues associated with providing high-quality implementations, but none of it addresses statistical aspects of this method. In this paper, we provide a simple yet effective framework to evaluate the statistical properties of algorithmic leveraging in the context of estimating parameters in a linear regression model with a fixed number of predictors. We show that from the statistical perspective of bias and variance, neither leverage-based sampling nor uniform sampling dominates the other. This result is particularly striking, given the well-known result that, from the algorithmic perspective of worst-case analysis, leverage-based sampling provides uniformly superior worst-case algorithmic results, when compared with uniform sampling. Based on these theoretical results, we propose and analyze two new leveraging algorithms. A detailed empirical evaluation of existing leverage-based methods as well as these two new methods is carried out on both synthetic and real data sets. The empirical results indicate that our theory is a good predictor of practical performance of existing and new leverage-based algorithms and that the new algorithms achieve improved performance.

研究动机与目标

• 通过分析算法性杠杆作用的统计特性，弥合大规模数据分析中算法效率与统计性能之间的差距。
• 评估在数据条件和无条件情况下，线性回归中基于杠杆的采样在偏差和方差方面的表现。
• 挑战基于杠杆的采样在统计上优于均匀采样的假设，尽管其在算法上更具优势。
• 设计并分析新的杠杆算法——SLEV 和 LEVUNW——以在相同计算约束下提升估计精度。
• 通过在合成数据集和真实数据集上的广泛实证评估，验证理论发现。

提出的方法

• 使用泰勒级数近似，推导基于杠杆采样下最小二乘估计量的偏差和方差的解析表达式。
• 提出 SLEV（收缩杠杆得分），通过重新缩放杠杆得分以降低估计量的方差。
• 提出 LEVUNW（无权重最小二乘法），通过求解一个更小的无权重子问题，以改善无条件偏差和方差。
• 使用渐近分析，推导不同采样方案下方差分量的数量级。
• 应用柯西-施瓦茨不等式和矩阵范数界，刻画方差项的渐近行为。
• 在合成数据集和真实数据集上，对所有方法（包括现有的基于杠杆的方法以及两种新算法）进行实证评估，以验证理论预测。

实验结果

研究问题

• RQ1 在偏差和方差方面，基于杠杆的采样是否在统计上优于线性回归中的均匀采样？
• RQ2 在大规模线性回归中，算法性杠杆作用的条件与无条件偏差和方差特性是什么？
• RQ3 能否设计出新的杠杆算法，在保持计算效率的同时提升统计性能？
• RQ4 偏差和方差的理论预测在实践中与实际性能的匹配程度如何？
• RQ5 对杠杆得分进行收缩和无权重化对估计精度有何影响？

主要发现

• 从统计角度看，基于杠杆的采样与均匀采样在偏差和方差方面互不占优，这与算法上的最坏情况优势相矛盾。
• 所提出的 SLEV 方法在相同计算缩减水平下，通常能实现比标准算法性杠杆作用更优的偏差和方差（无论无条件还是条件情况下）。
• 在相同数据缩减水平下，LEVUNW 方法相比基线杠杆作用，能显著改善无条件偏差和方差。
• 实证结果证实，偏差和方差的理论预测与实际性能在合成数据和真实数据集上均高度吻合。
• 理论框架成功识别出性能权衡，并指导了改进杠杆算法的设计。
• 分析表明，即使在保持算法效率的前提下，偏差和方差等统计特性仍对采样分布的选择高度敏感。