[论文解读] A Unified Approach to Robust Mean Estimation

Adarsh Prasad, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Jul 1, 2019

Control Systems and Identification参考文献 37被引用 16

一句话总结

该论文通过建立理论联系，统一了Huber的$\epsilon$-contamination模型与重尾模型下的鲁棒均值估计问题，使单一计算高效的估计器在两种设定下均能实现近乎最优的统计性能。所提方法结合样本剪枝与基于投影的区间估计，在最小矩条件假设下，以高概率获得次高斯误差界。

ABSTRACT

In this paper, we develop connections between two seemingly disparate, but central, models in robust statistics: Huber's epsilon-contamination model and the heavy-tailed noise model. We provide conditions under which this connection provides near-statistically-optimal estimators. Building on this connection, we provide a simple variant of recent computationally-efficient algorithms for mean estimation in Huber's model, which given our connection entails that the same efficient sample-pruning based estimators is simultaneously robust to heavy-tailed noise and Huber contamination. Furthermore, we complement our efficient algorithms with statistically-optimal albeit computationally intractable estimators, which are simultaneously optimally robust in both models. We study the empirical performance of our proposed estimators on synthetic datasets, and find that our methods convincingly outperform a variety of practical baselines.

研究动机与目标

• 弥合鲁棒统计学中两个核心模型之间的理论与实践差距：Huber的$\epsilon$-contamination模型与重尾分布模型。
• 开发一种计算高效的估计器，使其在两种模型下均能同时实现最优统计速率。
• 提供一种实用的替代方案，以替代计算上不可行的最优估计器，同时保持强理论保证。
• 通过合成数据上的实证验证，将所提方法与现有基线进行对比，证明其性能更优。

提出的方法

• 该方法建立了$\epsilon$-contamination模型与重尾模型之间的理论联系，表明在特定条件下，对一种模型鲁棒的估计器对另一种模型也具有鲁棒性。
• 提出一种基于样本剪枝的估计器，利用单位向量上的投影与一维鲁棒区间估计器进行区间估计。
• 通过单位球面上的网覆盖控制$\ell_2$误差，并利用网元素上的并集界确保高概率保证。
• 关键组件是使用条件方差界来控制在污染存在下异常值的影响。
• 采用$\ell_2$误差的变分公式，将多变量估计问题转化为一系列一维鲁棒估计问题。
• 结合几何中位数-众数思想与改进的区间估计器，在仅有限方差假设下实现次高斯误差率。

实验结果

研究问题

• RQ1 能否设计一个单一估计器，在Huber的$\epsilon$-contamination模型与重尾模型下均实现近乎最优的统计性能？
• RQ2 在何种条件下，$\epsilon$-contamination模型与重尾模型之间的联系可导出最优估计器？
• RQ3 如何设计计算高效的算法，在仅有限方差假设下实现次高斯误差界？
• RQ4 基于样本剪枝的实用估计器是否能在对抗性污染与重尾设定下均优于现有基线？
• RQ5 在鲁棒均值估计中，计算效率与统计最优性之间的权衡是什么？

主要发现

• 所提估计器以高概率实现次高斯风格的误差界，阶为$\sqrt{\frac{\text{trace}(\Sigma)\log(1/\delta)}{n}}$，与次高斯假设下的最优速率一致。
• 该方法为计算上不可行的最优估计器提供了计算高效的替代方案，在两种模型下均实现近乎最优性能。
• 在合成数据上的实证评估表明，所提估计器在重尾与污染设定下均持续优于现有实用基线。
• 理论分析表明，估计器的误差在投影方向上被界为$O\left(\sigma_u \max(2\epsilon, \frac{\log(1/\tilde{\delta})}{n})^{1-1/(2k)}\right)$，并通过网覆盖实现高概率控制。
• 即使在仅有限方差假设下，该方法仍能实现最优速率，将次高斯界的应用范围扩展至非次高斯分布。
• 两模型之间的联系使得统一框架成为可能，单一算法可同时抵御重尾噪声与对抗性污染。