[论文解读] Large Covariance Estimation through Elliptical Factor Models

Jianqing Fan, Han Liu+1 more|arXiv (Cornell University)|Jul 30, 2015

Advanced Statistical Methods and Models参考文献 68被引用 26

一句话总结

该论文提出了一种鲁棒的主正交补丁阈值化（POET）框架，用于在椭球因子模型下估计大维协方差矩阵，将先前的工作扩展至重尾数据。通过利用边际和多变量 Kendall’s tau，该方法在条件稀疏性下实现了最优收敛速率，即使误差和因子服从重尾椭球分布，也能实现精确估计。

ABSTRACT

We proposed a general Principal Orthogonal complEment Thresholding (POET) framework for large-scale covariance matrix estimation based on an approximate factor model. A set of high level sufficient conditions for the procedure to achieve optimal rates of convergence under different matrix norms were brought up to better understand how POET works. Such a framework allows us to recover the results for sub-Gaussian in a more transparent way that only depends on the concentration properties of the sample covariance matrix. As a new theoretical contribution, for the first time, such a framework allows us to exploit conditional sparsity covariance structure for the heavy-tailed data. In particular, for the elliptical data, we proposed a robust estimator based on marginal and multivariate Kendall's tau to satisfy these conditions. In addition, conditional graphical model was also studied under the same framework. The technical tools developed in this paper are of general interest to high dimensional principal component analysis. Thorough numerical results were also provided to back up the developed theory.

研究动机与目标

• 解决现有基于因子模型的协方差估计方法假设误差服从次高斯或高斯分布的局限性。
• 通过假设因子和特异性误差均服从椭球分布，将 POET 框架扩展至处理重尾数据。
• 提出一种鲁棒估计程序，在高维设定下保持条件稀疏性下的最优收敛速率。
• 为在椭球分布下使用秩统计量（Kendall’s tau）替代二阶矩提供理论依据。
• 在统一的鲁棒框架下整合条件图形模型与协方差估计的分析。

提出的方法

• 提出一种适用于近似因子模型下条件稀疏性的大协方差矩阵估计的通用 POET 框架。
• 引入一种基于边际和多变量 Kendall’s tau 的鲁棒估计量，以在高维重尾数据设定下替代样本协方差。
• 在各种矩阵范数下建立最优收敛速率的充分条件，依赖于样本协方差矩阵的集中性质。
• 利用 Hanson-Wright 不等式和次高斯尾部界，推导二次型的高概率界，从而在弱矩假设下实现理论分析。
• 通过利用潜在因子诱导的条件稀疏结构，将该框架应用于条件图形模型。
• 利用椭球分布假设，为使用秩统计量（Kendall’s tau）作为二阶矩的鲁棒替代方法提供理论依据。

实验结果

研究问题

• RQ1 在椭球分布下，POET 框架是否可以扩展至重尾数据，同时保持最优收敛速率？
• RQ2 如何利用鲁棒的秩统计量（如 Kendall’s tau）在条件稀疏性和重尾条件下实现最优协方差估计？
• RQ3 在因子模型和误差结构上，需要满足哪些充分条件，才能确保所提鲁棒估计量的最优收敛速率？
• RQ4 在高维设定下，特异性误差协方差矩阵的条件稀疏结构在多大程度上提升了估计精度？
• RQ5 该理论框架是否可同样应用于椭球分布下的条件图形模型估计？

主要发现

• 基于 Kendall’s tau 的所提鲁棒 POET 估计量在椭球因子模型下，于谱范数和 Frobenius 范数下均实现了最优收敛速率。
• 该框架以更清晰的方式恢复了次高斯数据下的已知结果，仅依赖于样本协方差矩阵的集中性质。
• 首次通过秩统计方法在条件稀疏性下建立了重尾数据的最优估计。
• 利用 Hanson-Wright 不等式和次高斯尾部假设，推导出二次型的高概率界，从而在弱矩条件下实现理论保证。
• 理论分析证实，多变量 Kendall’s tau 能够一致估计高维下的特征子空间和协方差矩阵。
• 数值结果表明该方法具有出色的实证性能，验证了理论发现，并支持了所提方法在重尾分布下的鲁棒性。