[论文解读] An Overview on the Estimation of Large Covariance and Precision Matrices

Jianqing Fan, Yuan Liao+1 more|arXiv (Cornell University)|Apr 12, 2015

Advanced Statistical Methods and Models参考文献 79被引用 9

一句话总结

本文全面回顾了在高维设置下估计大维协方差矩阵和精度矩阵的现代方法，重点关注基于秩次和基于因子模型的方法。研究表明，在重尾椭球分布下，鲁棒的基于秩次的估计器可实现近乎最优的收敛速度；而因子模型则通过低秩加稀疏分解实现高效估计，尤其在存在共同因子时表现更优。

ABSTRACT

Estimating large covariance and precision matrices are fundamental in modern multivariate analysis. The problems arise from statistical analysis of large panel economics and finance data. The covariance matrix reveals marginal correlations between variables, while the precision matrix encodes conditional correlations between pairs of variables given the remaining variables. In this paper, we provide a selective review of several recent developments on estimating large covariance and precision matrices. We focus on two general approaches: rank based method and factor model based method. Theories and applications of both approaches are presented. These methods are expected to be widely applicable to analysis of economic and financial data.

研究动机与目标

• 解决当维度超过样本量时估计大维协方差与精度矩阵的挑战。
• 回顾并比较两种主流方法：在非正态、重尾数据下的鲁棒估计基于秩次方法，以及建模共同依赖结构的基于因子模型的方法。
• 展示这些方法在经济学、金融学和高维统计中的理论性质与实际应用。
• 强调将因子模型与基于秩次的方法相结合，作为未来鲁棒、高维协方差估计的有前景方向。

提出的方法

• 本文回顾了基于阈值的稀疏协方差与精度矩阵估计方法，采用ℓ1-惩罚似然与非凸惩罚。
• 引入基于秩次的估计器，如EPIC与EC2，利用肯德尔等级相关系数在椭球分布下构建鲁棒相关矩阵。
• 对于因子模型，该方法将协方差矩阵分解为低秩分量（共同因子）与稀疏分量（特异误差），通过主成分分析或鲁棒主成分分析进行估计。
• 该方法采用两步估计：首先估计因子与因子载荷（或残差），然后对残差的基于秩次的相关矩阵应用阈值化以强制稀疏性。
• 通过最近正定投影与阈值规则，从基于秩次的相关估计中生成有效且稀疏的协方差估计器。
• 对于潜因子，对观测数据的基于秩次协方差矩阵应用鲁棒主成分分析以估计共同因子，随后提取残差并估计误差协方差。

实验结果

研究问题

• RQ1 当维度大于样本量时，如何一致地估计大维协方差矩阵？
• RQ2 在重尾椭球分布下，基于秩次估计器的理论性质与收敛速度为何？
• RQ3 如何利用因子模型将高维协方差矩阵分解为低秩与稀疏分量以改善估计？
• RQ4 在存在重尾误差时，结合因子建模与基于秩次鲁棒性的混合估计器性能如何？
• RQ5 对基于秩次相关矩阵应用阈值化是否能在谱范数下实现最优估计速度？

主要发现

• 基于秩次的估计器如EPIC与EC2在椭球分布下，即使在重尾数据中，也能在谱范数下实现近乎最优的收敛速度。
• 理论分析证实，对基于秩次的相关矩阵进行阈值化可实现稀疏精度矩阵与协方差矩阵的一致估计。
• 当共同因子可观测时，结合鲁棒回归与基于秩次的残差估计的因子模型方法，可生成具有最优收敛速度的鲁棒协方差估计器。
• 当因子不可观测时，对基于秩次协方差矩阵应用鲁棒主成分分析，可一致估计因子结构，从而实现对总协方差的合理分解。
• 将因子建模与基于秩次估计相结合的混合方法在具有重尾冲击的金融与经济数据中表现尤为有效。
• 本文证明，用肯德尔等级相关系数τ替代皮尔逊相关系数，可实现对椭球分布的鲁棒性，且通过变换$\sin(\frac{\pi}{2}\tau)$可恢复总体相关矩阵。