[论文解读] Estimation of the covariance structure of heavy-tailed distributions

Stanislav Minsker, Xiaohan Wei|arXiv (Cornell University)|Aug 1, 2017

Advanced Statistical Methods and Models参考文献 23被引用 22

一句话总结

本文提出了一种针对重尾分布的鲁棒协方差矩阵估计器，仅需四阶矩存在，利用随机矩阵理论与中位数-均值技术，实现了依赖于内在维数而非环境维数的紧密集中界，从而在弱矩假设下实现了高维设置中的强理论保证。

ABSTRACT

We propose and analyze a new estimator of the covariance matrix that admits strong theoretical guarantees under weak assumptions on the underlying distribution, such as existence of moments of only low order. While estimation of covariance matrices corresponding to sub-Gaussian distributions is well-understood, much less in known in the case of heavy-tailed data. As K. Balasubramanian and M. Yuan write, "data from real-world experiments oftentimes tend to be corrupted with outliers and/or exhibit heavy tails. In such cases, it is not clear that those covariance matrix estimators .. remain optimal" and "..what are the other possible strategies to deal with heavy tailed distributions warrant further studies." We make a step towards answering this question and prove tight deviation inequalities for the proposed estimator that depend only on the parameters controlling the "intrinsic dimension" associated to the covariance matrix (as opposed to the dimension of the ambient space); in particular, our results are applicable in the case of high-dimensional observations.

研究动机与目标

• 解决高维设置下重尾分布缺乏鲁棒协方差估计方法的问题。
• 在最小矩假设（如仅存在四阶矩）下，开发具有强理论保证的估计器。
• 消除对诸如异常值剔除等启发式预处理步骤的依赖，这些步骤会引入偏差。
• 实现依赖于内在维数而非环境维数的指数级紧密偏差界。
• 在重尾条件下，提供一种计算上可行且理论基础坚实的经典样本协方差估计器的替代方法。

提出的方法

• 基于将数据划分为子集，并在每个子集上计算样本协方差矩阵，提出一种中位数-均值估计器。
• 通过各划分间样本协方差矩阵的中位数，降低对重尾异常值的敏感性。
• 应用随机矩阵理论工具，推导估计器的集中不等式。
• 利用内在维数参数，界定估计器与真实协方差矩阵之间算子范数的偏差。
• 通过阈值参数 θ 引入截断机制，以控制尾部行为并确保矩条件。
• 利用核范数与Frobenius范数的性质，推导估计误差的统一界。

实验结果

研究问题

• RQ1 能否构造一种协方差估计器，在仅存在四阶矩假设下仍保持强集中性质？
• RQ2 如何将估计误差对环境维数的依赖替换为对内在维数的依赖？
• RQ3 在高维设置下，鲁棒性与统计效率之间的最优权衡是什么？
• RQ4 能否设计一种计算上可行的估计器，而无需事先了解尾部分布行为或进行异常值剔除？
• RQ5 在弱分布假设下，此类估计器可证明的理论保证（如偏差界）是什么？

主要发现

• 所提出的估计器对估计误差的算子范数实现了指数级紧密的偏差界。
• 偏差界仅依赖于协方差矩阵的内在维数，而非环境维数，从而使其在高维设置中具有适用性。
• 即使仅存在四阶矩，估计器仍保持强集中性，与子高斯或有界分布相比，显著弱化了假设条件。
• 估计误差的上界形式为 $ \sigma_0^2 \leq R^2 \|\Sigma_0\| \cdot \mathrm{tr}(\Sigma_0) $，其中 $ R $ 控制峰度，$ \sigma_0^2 $ 为 $ \mathbb{E}[XX^T \|X\|_2^2] $ 的最大特征值。
• 该估计器对异常值和重尾数据具有鲁棒性，其理论保证不依赖于数据预处理或引入偏差的滤波步骤。
• 该方法在有效维数上实现了最优依赖关系，其紧密界与子高斯设置下的已知极小最大率一致。