[论文解读] Fast and Robust Least Squares Estimation in Corrupted Linear Models

Brian McWilliams, Gabriel Krummenacher+2 more|arXiv (Cornell University)|Jun 12, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 23

一句话总结

本文提出影响加权子采样最小二乘法（IWS-LS），一种在协变量受污染情况下的快速且鲁棒的线性回归算法。通过子采样影响较低的数据点（这些点不太可能被污染），该方法相比标准最小二乘法和现有的随机近似方法，显著降低了偏差和方差，尤其在高污染率下表现更优。

ABSTRACT

Subsampling methods have been recently proposed to speed up least squares estimation in large scale settings. However, these algorithms are typically not robust to outliers or corruptions in the observed covariates. The concept of influence that was developed for regression diagnostics can be used to detect such corrupted observations as shown in this paper. This property of influence -- for which we also develop a randomized approximation -- motivates our proposed subsampling algorithm for large scale corrupted linear regression which limits the influence of data points since highly influential points contribute most to the residual error. Under a general model of corrupted observations, we show theoretically and empirically on a variety of simulated and real datasets that our algorithm improves over the current state-of-the-art approximation schemes for ordinary least squares.

研究动机与目标

• 解决现有随机最小二乘方法在协变量污染下存在偏差的问题。
• 开发一种可扩展的子采样算法，能够抵御高维数据中的异常值和测量噪声。
• 通过利用影响分数避免采样高度影响且被污染的数据点，提升估计精度。
• 在具有次高斯噪声的一般污染观测模型下，提供偏差和方差降低的理论保证。
• 设计高效的随机算法，实现在大规模应用中以亚二次时间复杂度近似影响分数。

提出的方法

• 提出 IWS-LS，一种子采样算法，其采样概率与数据点影响成反比，从而最小化污染观测的影响。
• 将影响定义为数据点对最小二乘估计的有效影响，基于回归诊断中的影响函数。
• 引入基于 [8] 的随机杠杆值近似方法的随机影响近似，实现 $o(np^2)$ 的运行时间复杂度。
• 设计两种高效的近似算法：aIWS-LS（近似 IWS-LS）和 aRWS-LS（近似随机加权采样），两者均在亚二次时间内运行。
• 理论分析表明，在污染线性模型下，IWS-LS 相较于 OLS 和标准随机近似方法，能同时降低偏差和方差。
• 采用一般模型 $\mathbf{Z} = \mathbf{X} + U\mathbf{W}$ 来形式化污染设定，其中 $U$ 表示污染，$\mathbf{W}$ 为次高斯分布。

实验结果

研究问题

• RQ1 在协变量受加性噪声污染时，基于影响的子采样能否提升线性回归的鲁棒性？
• RQ2 在数据污染条件下，所提出的 IWS-LS 方法与 OLS 及其他随机最小二乘近似方法相比，在偏差和方差方面表现如何？
• RQ3 随机影响近似在保持亚二次计算复杂度的同时，能在多大程度上实现近似最优性能？
• RQ4 IWS-LS 的性能如何随污染率和数据集规模的增加而变化？
• RQ5 在非独立同分布及重尾数据分布中，影响基子采样是否优于基于杠杆值或均匀子采样？

主要发现

• 在数据污染条件下，IWS-LS 相较于 OLS 和标准随机最小二乘方法，显著降低了偏差和方差，尤其在高污染率下表现更优。
• 在 30% 污染率下，aIWS-LS 和 aRWS-LS 的性能几乎与精确 IWS-LS 一致，证明了影响近似的有效性。
• 在 5% 污染率和小样本量下，ULURU 表现优于其他方法，但随着样本量增大，基于影响的方法因 OLS 和 ULURU 的偏差校正失败而超越它们。
• 在大规模实验中（$n=100,000$，$p=500$），即使子采样量极少，aIWS-LS 和 aRWS-LS 也比 OLS 和其他近似方法更快收敛到更优解。
• 在所有污染水平和数据分布下，基于影响的方法始终比均匀采样、基于杠杆值采样和基于 SGD 的方法获得更低的估计误差和 RMSE。
• 理论分析证实，在污染模型下 IWS-LS 能降低估计误差，偏差受污染协方差的有界控制，且当获得 $\Sigma_w$ 的额外信息时，该界可进一步改善。