[论文解读] Covariance Estimation: Optimal Dimension-free Guarantees for Adversarial Corruption and Heavy Tails

Pedro Pugliesi Abdalla, Nikita Zhivotovskiy|arXiv (Cornell University)|May 17, 2022

Random Matrices and Applications被引用 4

一句话总结

本文提出了一种鲁棒协方差估计器，在对抗性污染和重尾分布（仅需四阶矩）下，实现了操作符范数下的最优、与维度无关的收敛速率。在弱范数等价性假设下，该估计器提供了次高斯尾部界限，性能与高斯分布相当，同时对异常值具有鲁棒性，并且其缩放依赖于有效秩而非维度。

ABSTRACT

We provide an estimator of the covariance matrix that achieves the optimal rate of convergence (up to constant factors) in the operator norm under two standard notions of data contamination: We allow the adversary to corrupt an $η$-fraction of the sample arbitrarily, while the distribution of the remaining data points only satisfies that the $L_{p}$-marginal moment with some $p \ge 4$ is equivalent to the corresponding $L_2$-marginal moment. Despite requiring the existence of only a few moments, our estimator achieves the same tail estimates as if the underlying distribution were Gaussian. As a part of our analysis, we prove a dimension-free Bai-Yin type theorem in the regime $p > 4$.

研究动机与目标

• 开发一种对对抗性污染鲁棒的协方差估计器，其中最多 η 比例的样本被任意污染。
• 在仅假设分布具有四阶矩的条件下，实现操作符范数下的最优收敛速率，避免对数因子。
• 通过依赖于有效秩 r(Σ) 而非环境维度 d，实现与维度无关的保证。
• 在弱范数等价性（Lp–L2）假设下，提供与高斯情况相匹配的高概率界限。
• 统一异常值和重尾行为的鲁棒性与最优统计速率，无需对数因子或强分布假设。

提出的方法

• 通过结合中位数-均值方法与针对次指数和重尾分布的鲁棒均值估计技术构建估计器。
• 利用针对 p > 4 的非渐近、与维度无关的 Bai–Yin 型定理，实现操作符范数收敛而无需对数因子。
• 采用基于分位数的截断机制处理异常值，确保在 η 污染下的稳定性。
• 通过将协方差估计约化为平方内积的均值估计问题，在次指数情形下使用鲁棒中位数-均值估计。
• 分析基于一个范数等价性假设：对 2 ≤ q ≤ p 且 p ≥ 4，有 (E|⟨X,v⟩|^q)^{1/q} ≤ κ(q)(E|⟨X,v⟩|^2)^{1/2}。
• 通过置信水平 δ 和污染水平 η 调整估计器，实现与高斯性能匹配的高概率界限。

实验结果

研究问题

• RQ1 在仅具有四阶矩的条件下，协方差估计器是否能在对抗性污染下实现最优操作符范数收敛速率？
• RQ2 此类估计器是否能提供仅依赖于有效秩 r(Σ) 而非维度 d 的与维度无关的保证？
• RQ3 在不假设高斯分布或对数凹分布的前提下，估计器是否能在弱 Lp–L2 范数等价性下实现次高斯尾部界限？
• RQ4 在次高斯情形下，对污染水平 η 的 η log(1/η) 依赖关系是否最优？
• RQ5 能否在不引入对数因子的情况下构造出收敛速率与经典渐近结果匹配的估计器？

主要发现

• 所提出的估计器在仅假设 p ≥ 4 阶矩的条件下，于操作符范数下实现了最优收敛速率 √(r(Σ)/N)，与经典 Bai–Yin 结果一致。
• 收敛速率与维度无关，仅依赖于有效秩 r(Σ)，而不依赖于环境维度 d。
• 在弱 Lp–L2 范数等价性下，估计器提供了次高斯尾部界限——其性能与高斯假设下的样本协方差相当。
• 该方法在污染水平 η 上实现了最优依赖关系，在次高斯情形下表现出紧致的 η log(1/η) 项，证实了边界的紧致性。
• 分析建立了针对 p > 4 的非渐近、与维度无关的 Bai–Yin 型定理，将经典结果扩展至重尾和污染情形。
• 该估计器对对抗性污染具有鲁棒性：即使存在 ηN 个被污染的点，只要 N ≥ c(p)(r(Σ) + log(1/δ))，误差仍以高概率有界。