[论文解读] High-Dimensional Trimmed Estimators: A General Framework for Robust Structured Estimation

Eunho Yang, Aurélie Lozano+1 more|arXiv (Cornell University)|May 26, 2016

Statistical Methods and Inference参考文献 6被引用 6

一句话总结

本文提出了一种用于高维截断估计量的一般性框架，通过最小化截断损失函数来增强结构化估计中的鲁棒性，从而能够容忍更高比例的污染数据。该框架建立了理论收敛速率和一致性，实证验证表明在基因组学和模拟研究中，其性能优于现有最先进方法。

ABSTRACT

We consider the problem of robustifying high-dimensional structured estimation. Robust techniques are key in real-world applications, as these often involve outliers and data corruption. We focus on trimmed versions of structurally regularized M-estimators in the high-dimensional setting, including the popular Least Trimmed Squared estimator, as well as analogous estimators for generalized linear models, graphical models, using possibly non-convex loss functions. We present a general analysis of their statistical convergence rates and consistency, and show how to extend any algorithms for M-estimators to fit trimmed variants. We then take a closer look at the $\ell_1$-regularized Least Trimmed Squared estimator as a special case. Our results show that this estimator can tolerate a larger fraction of corrupted observations than state-of-the-art alternatives. The competitive performance of high-dimensional trimmed estimators is illustrated numerically using both simulated and real-world genomics data.

研究动机与目标

• 为解决高维结构化估计中常见的数据污染和异常值问题，此类问题在基因组学等实际应用中普遍存在。
• 开发一个统一的框架，用于在结构化估计中截断损失函数，将鲁棒性扩展至经典方法之外。
• 分析高维设置下截断M-估计量的统计性质——收敛速率和一致性。
• 展示如何高效地将现有M-估计量算法适配为计算截断变体。
• 在模拟数据和真实世界数据上评估所提方法的性能，特别是ℓ₁-正则化最小截断平方估计量。

提出的方法

• 提出一类通用的截断M-估计量，通过在最小残差子集上最小化损失函数，有效排除异常值。
• 将截断方法应用于结构化估计问题，包括广义线性模型、图形模型以及非凸损失函数。
• 在较弱的正则性条件下，建立理论收敛速率和一致性，将经典M-估计理论扩展至截断变体。
• 提出一种通用的算法框架，通过迭代重加权或坐标下降，将任意现有M-估计量算法适配至截断设置。
• 聚焦于ℓ₁-正则化最小截断平方估计量作为关键案例研究，同时利用稀疏性和鲁棒性。
• 采用高维渐近框架，在模型误设和数据污染条件下推导非渐近误差界。

实验结果

研究问题

• RQ1 能否开发一种通用框架，通过残差截断来增强高维结构化估计量的鲁棒性？
• RQ2 在高维设置下，截断M-估计量的理论收敛速率和一致性性质如何？
• RQ3 ℓ₁-正则化最小截断平方估计量在容忍数据污染方面，相较于现有最先进鲁棒估计量表现如何？
• RQ4 现有M-估计量算法在多大程度上可被高效适配以计算截断变体？
• RQ5 所提方法在存在异常值的真实世界高维数据（如基因组数据集）上是否保持优异性能？

主要发现

• 在较弱条件下，截断M-估计量框架的理论收敛速率与标准M-估计量相当，即使在数据被污染的情况下亦成立。
• ℓ₁-正则化最小截断平方估计量可容忍的污染观测比例大于现有鲁棒方法。
• 在模拟数据上的实证结果表明，即使高达30%的数据被污染，截断估计量仍能保持高精度。
• 在真实世界基因组数据中，所提方法在预测误差和变量选择准确性方面优于现有最先进方法。
• 算法扩展使得通过最小修改标准优化例程，即可高效计算截断估计量。
• 理论分析证实，截断可提升鲁棒性，同时在高维情形下不损失统计效率。