[论文解读] Generalized Resilience and Robust Statistics

Banghua Zhu, Jiantao Jiao+1 more|arXiv (Cornell University)|Sep 19, 2019

Advanced Statistical Methods and Models参考文献 66被引用 26

一句话总结

本文引入广义鲁棒性作为总变差（TV）和Wasserstein（W₁）扰动下稳健统计的统一框架，实现了对均值估计、线性回归和二阶矩估计的有限样本保证。该文提出将最小距离泛函投影到鲁棒分布上，其误差受连续模有界，且该连续模可系统性地对广义鲁棒类进行上界估计，从而在矩条件或超收缩条件下获得精确的总体与有限样本结果。

ABSTRACT

Robust statistics traditionally focuses on outliers, or perturbations in total variation distance. However, a dataset could be corrupted in many other ways, such as systematic measurement errors and missing covariates. We generalize the robust statistics approach to consider perturbations under any Wasserstein distance, and show that robust estimation is possible whenever a distribution's population statistics are robust under a certain family of friendly perturbations. This generalizes a property called resilience previously employed in the special case of mean estimation with outliers. We justify the generalized resilience property by showing that it holds under moment or hypercontractive conditions. Even in the total variation case, these subsume conditions in the literature for mean estimation, regression, and covariance estimation; the resulting analysis simplifies and sometimes improves these known results in both population limit and finite-sample rate. Our robust estimators are based on minimum distance (MD) functionals (Donoho and Liu, 1988), which project onto a set of distributions under a discrepancy related to the perturbation. We present two approaches for designing MD estimators with good finite-sample rates: weakening the discrepancy and expanding the set of distributions. We also present connections to Gao et al. (2019)'s recent analysis of generative adversarial networks for robust estimation.

研究动机与目标

• 将稳健统计从传统的基于TV的异常值模型扩展至包括测量误差和协变量缺失等系统性扰动。
• 形式化一种新性质——广义鲁棒性，以确保在TV和W₁扰动模型下均可实现稳健估计。
• 在这些广义扰动模型下，为关键统计估计量（均值、回归、协方差、二阶矩）提供有限样本误差界。
• 开发一种系统化方法，用于上界估计最小距离泛函的连续模，从而实现紧致的有限样本分析。
• 统一并改进先前在矩条件或超收缩条件下关于稳健均值估计、线性回归及联合估计的研究结果。

提出的方法

• 提出广义鲁棒性条件，刻画在TV或W₁扰动下可行稳健估计的分布特征。
• 引入最小距离（MD）泛函作为鲁棒估计量，将受扰的样本经验分布投影到具有良好行为的分布集合上。
• 使用广义连续模来界定MD泛函的误差，并提出一种系统方法，对鲁棒类的该连续模进行上界估计。
• 将该框架应用于TV扰动，通过定义弱化距离度量（\widetilde{\mathsf{TV}}_{\mathcal{H}}）以处理高维和复杂模型。
• 将该框架应用于W₁扰动，引入\widetilde{W}_1投影，并为二阶矩和线性回归估计构建鲁棒集合。
• 利用桥函数和对偶性论证，将稳健估计与稳健优化及鲁棒分布学习联系起来。

实验结果

研究问题

• RQ1 当数据在总变差或Wasserstein距离下被扰动时，稳健估计在何种条件下可行？
• RQ2 广义鲁棒性能否作为不同扰动模型与统计模型下稳健估计的统一条件？
• RQ3 在广义鲁棒性条件下，均值估计、线性回归和二阶矩估计的有限样本误差界能达到何种程度？
• RQ4 如何系统性地界定最小距离泛函的连续模，以获得紧致的有限样本保证？
• RQ5 在W₁扰动下，稳健线性回归的必要与充分条件（如矩条件或超收缩条件）是什么？

主要发现

• 对于TV扰动，本文改进了具有有界k阶矩的均值估计、线性回归以及均值与协方差联合估计的有限样本界。
• 对于W₁扰动，首次在矩条件或超收缩条件下为二阶矩估计和线性回归提供了有限样本保证。
• 广义鲁棒性条件在矩条件或超收缩条件下成立，使得在高维设置下仍可实现稳健估计。
• 通过系统化方法界定了MD泛函的连续模，从而获得精确的总体结果和强劲的有限样本表现。
• 在广义鲁棒性条件下，所提出的MD泛函在多种情形下达到已知极小极大下界，误差率最优。
• 该框架揭示：W₁基线性回归中，回归系数向量的有界性是必要条件，而超收缩型条件则是充分条件。