[论文解读] A spectral algorithm for robust regression with subgaussian rates

Jules Depersin|arXiv (Cornell University)|Jul 12, 2020

Advanced Statistical Methods and Models参考文献 41被引用 4

一句话总结

本文提出了一种用于鲁棒线性回归的谱算法，在仅需有限四阶矩和存在对抗性异常值的最弱假设下，实现了次高斯误差率。通过将用于均值估计的谱方法适配到回归设置，并引入一种新型经验过程，该算法在时间复杂度为线性到二次方的条件下实现了最优统计性能，从而实现了实际部署，同时匹配理想的高斯率边界。

ABSTRACT

We study a new linear up to quadratic time algorithm for linear regression in the absence of strong assumptions on the underlying distributions of samples, and in the presence of outliers. The goal is to design a procedure which comes with actual working code that attains the optimal sub-gaussian error bound even though the data have only finite moments (up to $L_4$) and in the presence of possibly adversarial outliers. A polynomial-time solution to this problem has been recently discovered but has high runtime due to its use of Sum-of-Square hierarchy programming. At the core of our algorithm is an adaptation of the spectral method introduced for the mean estimation problem to the linear regression problem. As a by-product we established a connection between the linear regression problem and the furthest hyperplane problem. From a stochastic point of view, in addition to the study of the classical quadratic and multiplier processes we introduce a third empirical process that comes naturally in the study of the statistical properties of the algorithm.

研究动机与目标

• 开发一种计算高效的回归算法，在弱矩假设和对抗性异常值下仍保持最优统计性能。
• 在不需次高斯或有界数据的前提下，实现与独立同分布高斯情形相匹配的次高斯误差率。
• 提供一个可工作、可实现的算法，同时具备统计精度和计算效率的理论保证。
• 建立 O(Nd) 到 O(N²d) 的理论运行时间，使其适用于具有重尾或损坏分布的实际数据集。
• 弥合理论鲁棒估计器与实际可编码实现的算法之间的差距，实现强大的有限样本性能。

提出的方法

• 通过设计矩阵和响应向量的变换，将用于均值估计的谱方法（先前在 [35] 中使用）适配到线性回归设置。
• 采用数据的分块分解以构建经验过程，并利用浓度不等式控制偏差。
• 引入一种第三类经验过程——超越经典二次和乘子过程——对分析算法的统计行为至关重要。
• 使用最大奇异向量计算作为核心计算原语，实现从线性到二次方的时间复杂度。
• 应用 [13] 中的 VC-维界和浓度结果，控制经验过程的偏差，确保次高斯尾部界。
• 结合剪枝和分块选择策略，在保持统计效率的同时增强对异常值的鲁棒性。

实验结果

研究问题

• RQ1 在仅具有有限四阶矩和对抗性异常值的条件下，计算高效的算法能否在线性回归中实现次高斯误差率？
• RQ2 用于均值估计的谱方法如何推广到回归设置，以确保鲁棒性和最优统计性能？
• RQ3 在重尾回归中实现最优次高斯率所需的最低计算成本是多少？
• RQ4 一个实际可编码实现的算法能否在弱分布假设下，匹配 MLE/OLS 在理想高斯设定下的理论性能？
• RQ5 在谱回归算法分析中，自然出现的新型经验过程结构是什么，如何对其进行控制？

主要发现

• 该算法实现了最优的次高斯误差率，即使在仅具有 L⁴-有限矩的情况下，其偏差界也与 i.i.d. 高斯框架下的 MLE/OLS 一致。
• 以高概率（1−δ）下，估计误差被限制在 O(√(log(1/δ)/N)) 以内，其速率与次高斯情形相同。
• 该算法的运行时间为 O(Nd)（最佳情况）到 O(N²d)（最坏情况），适用于大规模数据集的可扩展性。
• 该方法建立了线性回归与最远超平面问题之间的新联系，为鲁棒估计提供了新的几何洞察。
• 该分析引入并控制了一种新型经验过程，这对证明谱回归框架中次高斯偏差界至关重要。
• 以高概率（≥ 1−1/32），即使在对抗性污染下，该算法的误差也被限制为最优次高斯率的常数倍。