[论文解读] Computationally Efficient Robust Estimation of Sparse Functionals

Simon S. Du, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Feb 24, 2017

Statistical Methods and Inference参考文献 16被引用 10

一句话总结

该论文提出了一种计算高效且鲁棒的算法，用于在 $\epsilon$-contamination 模型下估计高维设置中的稀疏泛函。通过建立确保准确恢复的确定性条件，该方法实现了最优的统计速率，并在稀疏性假设下，对稀疏均值、协方差、线性回归和广义线性模型均提供了高概率保证。

ABSTRACT

Many conventional statistical procedures are extremely sensitive to seemingly minor deviations from modeling assumptions. This problem is exacerbated in modern high-dimensional settings, where the problem dimension can grow with and possibly exceed the sample size. We consider the problem of robust estimation of sparse functionals, and provide a computationally and statistically efficient algorithm in the high-dimensional setting. Our theory identifies a unified set of deterministic conditions under which our algorithm guarantees accurate recovery. By further establishing that these deterministic conditions hold with high-probability for a wide range of statistical models, our theory applies to many problems of considerable interest including sparse mean and covariance estimation; sparse linear regression; and sparse generalized linear models.

研究动机与目标

• 解决在污染条件下高维稀疏泛函缺乏计算高效且统计鲁棒估计器的问题。
• 统一基于单一框架的多种稀疏泛函（如均值、协方差、回归系数）的估计。
• 建立在 $n \ll d$ 情况下仍能实现多项式时间恢复的确定性条件。
• 证明这些条件在包括稀疏线性和广义线性模型在内的广泛统计模型中以高概率成立。
• 开发涉及凸松弛和截断的新技术，以实现在高维下的鲁棒估计。

提出的方法

• 该方法提出了一种基于确定性条件的统一框架，确保在 $\epsilon$-contamination 下稀疏泛函的准确恢复。
• 采用鲁棒估计问题的凸松弛，以确保多项式时间可解。
• 关键组成部分是基于截断的预处理步骤，利用数据依赖的阈值去除高杠杆异常值。
• 算法使用单位球上的 $1/3$-网和子集选择，以控制稀疏支持上的统一收敛性。
• 对于逻辑型模型，采用剪枝规则移除 $\|yx\|_2$ 值较大的样本，以确保有界性和集中性。
• 理论分析依赖于高斯变量的Lipschitz函数的集中不等式，以及对稀疏集合的并集界限。

实验结果

研究问题

• RQ1 是否存在一种单一、计算高效的算法，可在高维设置下鲁棒地估计多种稀疏泛函？
• RQ2 哪些确定性条件可确保在污染条件下稀疏泛函的准确恢复？
• RQ3 这些条件是否在稀疏线性回归和 GLM 等高维模型中以高概率成立？
• RQ4 该算法的性能如何随污染水平 $\epsilon$ 和稀疏性 $s$ 变化？
• RQ5 新颖的截断与凸松弛技术是否能在保持计算可处理性的同时实现最优统计速率？

主要发现

• 所提算法实现了最优的污染依赖性 $O(\epsilon)$，且在稀疏高维模型中的统计速率与极小极大下界一致。
• 在稀疏均值与协方差估计中，该方法以高概率将真实参数恢复至 $O(\epsilon \|\beta\|_2^2)$ 的误差范围内。
• 在稀疏线性回归中，估计器的误差界按 $O(\epsilon \|\beta\|_2^2)$ 刻画，其对 $\|\beta\|_2^2$ 的依赖决定了速率。
• 在广义线性模型中，通过剪枝规则确保有界性和集中性，从而获得比标准 GLM 更优的尾部界限。
• 该框架可统一应用于稀疏均值、协方差、线性回归和 GLM，统一了这些模型中的鲁棒估计。
• 理论保证通过凸松弛和仔细的截断实现，集中结果通过 Lipschitz 函数集中性与网论证推导得出。