[论文解读] High-dimensional robust regression and outliers detection with SLOPE

Alain Virouleau, Agathe Guilloux+2 more|arXiv (Cornell University)|Dec 7, 2017

Advanced Statistical Methods and Models参考文献 50被引用 6

一句话总结

本文提出E-SLOPE，一种新颖的高维稳健回归方法，通过排序L1惩罚（SLOPE）联合估计回归系数与个体截距（异常值）。该方法在均值偏移模型下首次建立了对错误发现率（FDR）控制和高统计功效的理论保证，并通过模拟和真实世界数据进行了验证，配套提供了Python和C++的开源软件。

ABSTRACT

The problems of outliers detection and robust regression in a high-dimensional setting are fundamental in statistics, and have numerous applications. Following a recent set of works providing methods for simultaneous robust regression and outliers detection, we consider in this paper a model of linear regression with individual intercepts, in a high-dimensional setting. We introduce a new procedure for simultaneous estimation of the linear regression coefficients and intercepts, using two dedicated sorted-$\ell_1$ penalizations, also called SLOPE. We develop a complete theory for this problem: first, we provide sharp upper bounds on the statistical estimation error of both the vector of individual intercepts and regression coefficients. Second, we give an asymptotic control on the False Discovery Rate (FDR) and statistical power for support selection of the individual intercepts. As a consequence, this paper is the first to introduce a procedure with guaranteed FDR and statistical power control for outliers detection under the mean-shift model. Numerical illustrations, with a comparison to recent alternative approaches, are provided on both simulated and several real-world datasets. Experiments are conducted using an open-source software written in Python and C++.

研究动机与目标

• 解决高维线性模型中同时进行稳健回归与异常值检测的挑战。
• 开发一种方法，在保持高统计功效的同时控制识别异常值的错误发现率（FDR）。
• 将SLOPE框架扩展至建模异常值的个体截距，实现回归系数与异常值效应的联合估计。
• 为回归系数与异常值截距的估计误差和支撑集恢复提供理论保证。
• 在模拟数据和真实世界数据上对方法进行实证验证，并与近期其他方法进行比较。

提出的方法

• 提出一种双惩罚回归模型：一个用于全局回归系数，另一个用于个体截距（异常值），两者均采用排序L1范数（SLOPE）。
• 采用均值偏移模型，其中异常值通过个体截距表示，使模型能够区分全局回归结构与异常值特有的偏离。
• 采用两阶段优化过程，结合排序L1惩罚，以在回归系数和异常值指示变量中诱导稀疏性。
• 推导出回归系数向量与异常值截距向量估计误差的紧致上界。
• 通过渐近分析控制异常值支撑集选择的FDR与统计功效，利用Benjamini-Hochberg程序的性质。
• 采用高效的凸优化算法实现该方法，提供Python和C++的开源代码，以确保可重现性与可扩展性。

实验结果

研究问题

• RQ1 高维回归模型能否在具有理论保证的前提下，联合估计回归系数与异常值特异截距？
• RQ2 所提出的E-SLOPE方法在均值偏移模型下能否实现异常值检测的受控错误发现率（FDR）？
• RQ3 E-SLOPE在识别真实异常值方面的统计功效如何？与现有方法相比表现如何？
• RQ4 该方法在高维设定下能否保持回归系数与异常值截距的低估计误差？
• RQ5 E-SLOPE在具有不同相关结构和异常值幅度的真实世界与模拟数据集上的实际表现如何？

主要发现

• 在均值偏移模型下，E-SLOPE实现渐近FDR控制，满足lim sup FDR ≤ q + c，其中c可被任意缩小。
• 该方法具有高统计功效，在正则条件下功效趋于1，确保绝大多数真实异常值被检测到。
• 回归系数与异常值截距的估计误差以高概率有界，且推导出明确的上界，其表达式与噪声水平及设计矩阵特性相关。
• 在低幅度异常值与高相关性（ρ = 0.8）的模拟中，E-SLOPE保持FDR控制并实现完美功效，优于E-LASSO与IPOD。
• 在多种模拟设定下，包括高相关性与不同目标FDR水平（10%与20%），E-SLOPE在回归系数与截距的均方误差（MSE）上表现最佳。
• 该方法对弱异常值具有鲁棒性，并在不同设计矩阵下保持稳定性能，经补充模拟验证，包括高相关性与提升的FDR目标。