[论文解读] Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression

Arun Sai Suggala, Kush Bhatia+2 more|arXiv (Cornell University)|Mar 19, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用 18

一句话总结

本文提出 AdaCRR，一种用于鲁棒线性回归的新型自适应硬阈值算法，即使在高达 1 - o(1) 的响应被盲从对手污染的情况下，也能实现一致估计。通过利用随机扰动自适应调整阈值以逃逸不良的不动点，AdaCRR 确保了近最优的统计速率和线性时间计算复杂度，在稀疏和重尾回归问题上均优于现有方法，展现出更强的鲁棒性与效率。

ABSTRACT

We study the problem of robust linear regression with response variable corruptions. We consider the oblivious adversary model, where the adversary corrupts a fraction of the responses in complete ignorance of the data. We provide a nearly linear time estimator which consistently estimates the true regression vector, even with $1-o(1)$ fraction of corruptions. Existing results in this setting either don't guarantee consistent estimates or can only handle a small fraction of corruptions. We also extend our estimator to robust sparse linear regression and show that similar guarantees hold in this setting. Finally, we apply our estimator to the problem of linear regression with heavy-tailed noise and show that our estimator consistently estimates the regression vector even when the noise has unbounded variance (e.g., Cauchy distribution), for which most existing results don't even apply. Our estimator is based on a novel variant of outlier removal via hard thresholding in which the threshold is chosen adaptively and crucially relies on randomness to escape bad fixed points of the non-convex hard thresholding operation.

研究动机与目标

• 设计一种计算高效的估计器，能够在高比例对抗性响应污染下一致估计真实回归向量。
• 将一致鲁棒回归扩展至具有次高斯噪声和高维设置的稀疏线性模型。
• 在噪声具有无界方差的重尾回归设置中实现一致估计，例如柯西分布。
• 克服固定阈值方法在高污染下易陷入不良不动点的局限性。
• 在密集和稀疏设置下，实现接近最优的统计速率，且计算复杂度接近普通最小二乘法（OLS）的水平。

提出的方法

• 提出 AdaCRR，一种使用自适应硬阈值的框架，其中阈值基于随机扰动动态调整，以避免次优不动点。
• 采用迭代异常值剔除过程：在每次迭代中，计算残差，通过自适应阈值识别并剔除异常值，然后在剩余点上求解标准 OLS。
• 采用两种变体：AdaCRR-FC（不动点更新）和 AdaCRR-GD（梯度下降更新），两者每轮迭代的计算成本均为 O(nd)。
• 在阈值过程中引入随机性，以逃逸不良局部极小值，这对处理高污染率至关重要。
• 将该框架应用于标准 RSC 假设下的稀疏回归，仅需 n ≥ k* log²p 个样本，其中 k* 为稀疏度水平。
• 通过证明即使一阶矩不存在，也能实现一致估计，将该方法扩展至重尾噪声（如柯西分布）情形。

实验结果

研究问题

• RQ1 我们能否设计一种线性时间的一致估计器，用于鲁棒回归，且能容忍高达 1 - o(1) 比例的响应污染？
• RQ2 在高污染设置下，带有随机扰动的自适应阈值能否防止收敛至不良不动点？
• RQ3 AdaCRR 在高维数据的稀疏回归中是否能保持一致性和近最优统计速率？
• RQ4 在标准估计器失效的重尾噪声分布（如柯西分布）下，AdaCRR 是否能实现一致估计？
• RQ5 在高污染条件下，AdaCRR 与 Huber 回归及其他鲁棒估计器相比，在收敛速度和精度方面表现如何？

主要发现

• AdaCRR-FC 和 AdaCRR-GD 即使在高达 1 - o(1) 比例响应被污染的情况下，也能实现一致估计，显著优于固定阈值方法。
• 该算法在 O(log 1/ε) 次迭代内收敛至 ε-最优解，实现接近线性时间复杂度，与 OLS 相当。
• 在重尾柯西噪声设置下，AdaCRR 随样本量增加，估计误差持续减小，展现出一致性，而 OLS 和 Ridge 均失败。
• AdaCRR 比 Huber 回归快 up to 100 倍，同时恢复误差更优，实际中观察到线性收敛。
• 在稀疏回归中，AdaCRR 在样本复杂度 n ≥ k* log²p 下实现一致性，与理论下界一致。
• 在无噪声和有噪声设置下，AdaCRR 比基线方法容忍更高的污染水平，Huber 回归仅在有噪声条件下才具有竞争力。