[论文解读] High dimensional robust M-estimation : arbitrary corruption and heavy tails

Liu Liu|arXiv (Cornell University)|Jul 6, 2021

Sparse and Compressive Sensing Techniques参考文献 80被引用 7

一句话总结

本文提出了一种鲁棒的梯度下降框架，用于在重尾分布和任意污染条件下进行高维M-估计，实现了统计速率的极小化最优性，同时具备计算效率。该方法无需亚高斯假设，即可实现精确的稀疏回归、高斯图形模型构建以及低秩矩阵恢复。

ABSTRACT

We consider the problem of constrained M-estimation when both explanatory and response variables have heavy tails (bounded 4-th moments), or a fraction of arbitrary corruptions. We focus on the high-dimensional regime where the underlying parameter has a low-dimensional constraint, such as sparsity or low rankness. Modeling with sparsity of low rank constraint in high dimensions is NP-hard in the worst case. Thus theoretical recovery guarantees for most computationally tractable approaches rely on strong assumptions on the probabilistic models of the data, such as sub-Gaussianity. Under such assumptions, existing approaches achieve the minimax optimal recovery guarantees. But heavy-tails and arbitrary corruptions in the data violate the assumptions required for convergence of the usual algorithms. This thesis tackles these challenges for a few statistical learning problems: robust sparse regression, robust Gaussian graphical model estimation and robust low rank matrix recovery. We provide a novel robust gradient descent approach for these problems in a high dimensional regime and we present optimal statistical guarantees and computational efficient algorithms under the heavy-tails and arbitrary corruptions. We demonstrate the effectiveness of our approach in sparse linear, logistic regression, sparse precision matrix estimation and low rank matrix recovery on synthetic and real-world data.

研究动机与目标

• 解决数据呈现重尾分布（四阶矩有界）或任意污染时的高维M-估计挑战。
• 克服现有方法依赖强概率假设（如亚高斯性）的局限性。
• 开发计算高效的算法，在具有稀疏性或低秩约束的高维设置下实现极小化最优统计速率。
• 为在弱矩条件下的稀疏线性回归、精度矩阵估计和低秩矩阵恢复提供理论保证。

提出的方法

• 提出一种新颖的鲁棒梯度下降算法，专用于处理高维M-估计中的重尾和污染数据。
• 利用截断的经验风险最小化以减轻异常值和重尾噪声的影响。
• 通过在M-估计框架中引入正则化，纳入稀疏性或低秩性等结构约束。
• 使用对重尾或对抗性污染不敏感的鲁棒梯度估计器，通过有界高阶矩实现。
• 应用方差缩减技术，提升在样本有限的高维设置下的收敛性。
• 通过迭代优化确保计算效率，每轮迭代的复杂度可扩展至高维。

实验结果

研究问题

• RQ1 在仅假设四阶矩有界、无需亚高斯假设的条件下，鲁棒M-估计能否实现极小化最优统计速率？
• RQ2 在任意污染条件下，如何在高维稀疏或低秩估计中保持计算效率？
• RQ3 是否可以将统一的鲁棒梯度下降框架应用于包括回归和协方差估计在内的多种高维学习问题？
• RQ4 在重尾和污染数据条件下，鲁棒稀疏与低秩模型的估计误差和收敛速率有何理论保证？
• RQ5 在真实世界和合成数据设置下，该方法在鲁棒性和统计效率方面相较于现有方法表现如何？

主要发现

• 所提出的鲁棒梯度下降方法在仅四阶矩有界的条件下，实现了高维M-估计的极小化最优统计速率。
• 该算法在具有稀疏性或低秩约束的高维情形下，仍保持计算效率。
• 为鲁棒稀疏线性回归与逻辑回归、精度矩阵估计以及低秩矩阵恢复建立了理论保证。
• 在合成数据和真实世界数据上的实证结果表明，该方法在重尾和污染数据条件下显著优于基线方法。
• 当数据偏离亚高斯假设时，该方法在估计精度和鲁棒性方面优于标准M-估计器。