[论文解读] High Dimensional Robust Sparse Regression

Liu Liu, Yanyao Shen+2 more|arXiv (Cornell University)|May 29, 2018

Sparse and Compressive Sensing Techniques参考文献 44被引用 26

一句话总结

本文提出了一种基于鲁棒变体迭代硬阈值法（IHT）的新型鲁棒稀疏回归算法，即使在协变量和响应变量中存在恒定比例的任意损坏时，也能实现次线性样本复杂度和近乎最优的误差保证。在无噪声情况下可实现精确恢复，并通过随机过滤技术处理未知的结构化协方差，实现鲁棒稀疏均值估计。

ABSTRACT

We provide a novel -- and to the best of our knowledge, the first -- algorithm for high dimensional sparse regression with constant fraction of corruptions in explanatory and/or response variables. Our algorithm recovers the true sparse parameters with sub-linear sample complexity, in the presence of a constant fraction of arbitrary corruptions. Our main contribution is a robust variant of Iterative Hard Thresholding. Using this, we provide accurate estimators: when the covariance matrix in sparse regression is identity, our error guarantee is near information-theoretically optimal. We then deal with robust sparse regression with unknown structured covariance matrix. We propose a filtering algorithm which consists of a novel randomized outlier removal technique for robust sparse mean estimation that may be of interest in its own right: the filtering algorithm is flexible enough to deal with unknown covariance. Also, it is orderwise more efficient computationally than the ellipsoid algorithm. Using sub-linear sample complexity, our algorithm achieves the best known (and first) error guarantee. We demonstrate the effectiveness on large-scale sparse regression problems with arbitrary corruptions.

研究动机与目标

• 开发一种计算高效的高维稀疏回归算法，在协变量和响应变量均存在任意损坏时仍能保持准确性。
• 在维度 d 上实现样本复杂度的次线性缩放，同时仅依赖于稀疏度 k 和损坏比例 ε 的恢复保证。
• 在鲁棒稀疏回归中处理未知的结构化协方差矩阵，克服先前方法对已知或单位协方差的依赖。
• 在现实的高维设置下，首次为输入和输出中存在恒定比例任意损坏的鲁棒稀疏回归提供误差保证。
• 设计一种计算高效且适用于未知协方差结构的鲁棒稀疏均值估计过滤算法。

提出的方法

• 提出一种鲁棒的迭代硬阈值法（IHT）变体，通过迭代估计稀疏参数并过滤掉损坏样本。
• 采用一种新颖的随机异常值剔除技术作为鲁棒稀疏均值估计的过滤子程序，即使在协方差未知时也有效。
• 在过滤步骤中使用迹范数最大化以识别并剔除损坏样本，替代传统的椭球方法。
• 通过样本分割和利用算法3进行鲁棒梯度估计，确保在损坏情况下的收敛性。
• 在协方差未知的高维设置中，利用稀疏主成分分析求解器实现高效计算。
• 将过滤算法集成到鲁棒回归框架中，保持线性收敛性和近乎最优的误差界。

实验结果

研究问题

• RQ1 在协变量和响应变量中均存在任意损坏的情况下，能否在高维稀疏回归中实现次线性样本复杂度？
• RQ2 能否设计一种鲁棒稀疏回归算法，在协方差矩阵未知且具有结构的情况下仍保持近乎最优的误差保证？
• RQ3 基于过滤的鲁棒稀疏均值估计方法是否在计算效率和灵活性上优于现有方法（如椭球算法）？
• RQ4 鲁棒IHT变体在无噪声情况下是否能实现线性收敛并达到机器精度？
• RQ5 在高维设置下，该算法在不同损坏水平（ε）和不同稀疏度水平（k）下的表现如何？

主要发现

• 所提算法实现了与 k² log d / ε 成正比的次线性样本复杂度，与信息论下限仅相差对数因子。
• 在单位协方差情况下，误差保证近乎信息论最优，实证验证了理论边界的正确性。
• 算法在高损坏（ε = 0.2）条件下仍表现出参数误差的线性收敛，误差曲线在最终误差水平处趋于平坦。
• 当 σ² = 0（无加性噪声）时，算法达到机器精度，证实了无噪声情况下可实现精确恢复。
• 用于鲁棒稀疏均值估计的过滤算法在阶次上比椭球算法更高效，且在协方差未知时仍具有效性。
• 实验结果表明，缩放后的相对均方误差几乎与稀疏度 k 和维度 d 无关，验证了理论样本复杂度的缩放关系。