[论文解读] Faster Algorithms for High-Dimensional Robust Covariance Estimation

Yu Cheng, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Statistical Methods and Models参考文献 38被引用 14

一句话总结

该论文提出了首个针对高维高斯分布下对抗性污染的鲁棒协方差估计算法，其运行时间接近最优，达到 $\tilde{O}(d^{3.26})/\text{poly}(\theta)$，接近计算经验协方差的时间。该方法通过引入一种新颖的迭代重加权框架，结合 Johnson-Lindenstrauss 投影与谱滤波，显著优于以往需要 $\tilde{O}(d^{2\theta})$ 时间的方法。

ABSTRACT

We study the problem of estimating the covariance matrix of a high-dimensional distribution when a small constant fraction of the samples can be arbitrarily corrupted. Recent work gave the first polynomial time algorithms for this problem with near-optimal error guarantees for several natural structured distributions. Our main contribution is to develop faster algorithms for this problem whose running time nearly matches that of computing the empirical covariance. Given $N = ildeΩ(d^2/ε^2)$ samples from a $d$-dimensional Gaussian distribution, an $ε$-fraction of which may be arbitrarily corrupted, our algorithm runs in time $ ilde{O}(d^{3.26})/\mathrm{poly}(ε)$ and approximates the unknown covariance matrix to optimal error up to a logarithmic factor. Previous robust algorithms with comparable error guarantees all have runtimes $ ildeΩ(d^{2 ω})$ when $ε= Ω(1)$, where $ω$ is the exponent of matrix multiplication. We also provide evidence that improving the running time of our algorithm may require new algorithmic techniques.

研究动机与目标

• 设计一种计算高效的鲁棒协方差估计器，用于高维高斯分布，当最多有常数比例的样本被任意污染时仍能有效工作。
• 缩小鲁棒估计器与非鲁棒版本（如经验协方差）之间的运行时间差距，后者运行时间为 $O(d^3)$。
• 在 Frobenius 范数下实现接近最优的误差保证，同时相比以往的鲁棒算法显著降低运行时间。
• 探索是否还能进一步加速，提供证据表明未来改进可能需要全新的算法技术。

提出的方法

• 提出一种新颖的迭代重加权框架，根据样本在低维子空间中的几何特性为其分配权重。
• 利用 Johnson-Lindenstrauss 投影将数据压缩到低维空间，从而高效近似协方差结构。
• 采用谱滤波技术，通过分析主子空间中投影向量的范数，识别并降低污染样本的权重。
• 应用一种递归算法，交替进行子空间估计与权重优化，以收敛到真实协方差矩阵的鲁棒估计。
• 利用卡方分布的集中不等式，基于样本在子空间中的投影范数区分优质样本与劣质样本。
• 利用马尔可夫不等式控制分配给污染样本的总权重，确保最终估计器接近真实协方差。

实验结果

研究问题

• RQ1 我们能否设计一种鲁棒协方差估计器，其运行时间接近经验协方差的 $O(d^3)$ 复杂度？
• RQ2 是否可能在保持高维下亚立方时间复杂度的同时，实现 Frobenius 范数下的近似最优误差保证？
• RQ3 在当前 $\tilde{O}(d^{3.26})$ 运行时间界限之外，进一步提升鲁棒协方差估计运行时间的算法障碍是什么？
• RQ4 使用随机投影与迭代重加权是否能实现对抗性污染下更快的鲁棒估计收敛？

主要发现

• 所提算法的运行时间为 $\tilde{O}(d^{3.26})/\text{poly}(\theta)$，接近最优，与经验协方差计算的最佳已知时间界限一致。
• 算法在误差上达到最优（仅差对数因子），当样本数 $N = \tilde{\Omega}(d^2/\theta^2)$ 时，Frobenius 范数误差为 $O(\theta + d/\text{poly}(N)) \times \|\theta\|_2$。
• 该方法显著优于以往的鲁棒算法，后者在 $\theta = \tilde{\Omega}(1)$ 时需要 $\tilde{\Omega}(d^{2\theta})$ 时间，其中 $\theta$ 为矩阵乘法指数。
• 作者提供了证据表明，进一步提升运行时间可能需要全新的算法技术，暗示存在潜在的复杂度障碍。
• 理论分析表明，任何对样本分配权重的算法都必须解决一个难题：基于其投影范数区分优质与劣质样本。