[论文解读] Ensemble Estimation of Large Sparse Covariance Matrix Based on Modified Cholesky Decomposition

Xiaoning Kang, Xinwei Deng|arXiv (Cornell University)|Dec 1, 2017

Blind Source Separation Techniques被引用 1

一句话总结

该论文提出一种基于改进Cholesky分解的大稀疏协方差矩阵集成估计器，利用变量排序的灵活性生成多个估计，并选择Frobenius范数最优的中心作为最终的正定估计器。该方法确保了正定性并恢复了稀疏结构，在弱正则性条件下具有算法和渐近收敛的理论保证。

ABSTRACT

Estimation of large sparse covariance matrices is of great importance for statistical analysis, especially in the high dimensional setting. The traditional approach such as sample covariance matrix could perform poorly due to the high dimensionality. In this work, we propose a positive-definite estimator for the covariance matrix based on the modified Cholesky decomposition. The modified Cholesky decomposition relies on the order of variables, which provides the flexibility to obtain a set of covariance matrix estimates under different orders of variables. The proposed method considers an ensemble estimator as the center of such a set of covariance matrix estimates with respect to the Frobenius norm. The proposed estimator is not only guaranteed to be positive definite, but also can capture the underlying sparse structure of the covariance matrix. Under some weak regularity conditions, both algorithmic convergence and asymptotical convergence are established. The merits of the proposed method are illustrated through simulation studies and one real data example.

研究动机与目标

• 为解决高维设置下样本协方差矩阵因高维性导致的性能不佳问题。
• 开发一种能捕捉大协方差矩阵潜在稀疏结构的正定估计器。
• 利用改进Cholesky分解中的变量排序灵活性，生成多个候选估计。
• 构建一个最小化与所有候选估计Frobenius范数距离的集成估计器。
• 在高维渐近框架下，建立算法与估计器的理论收敛性质。

提出的方法

• 利用依赖于变量顺序的改进Cholesky分解，生成一组正定协方差矩阵估计。
• 通过应用不同的变量排序，生成多个估计，利用分解的灵活性以探索多样的结构模式。
• 将集成估计器定义为候选估计集合的Frobenius范数中心，以最小化所有估计的平方Frobenius距离之和。
• 通过构造确保最终估计器为正定，因其为正定矩阵的凸组合。
• 采用弱正则性条件，建立估计器的算法与渐近收敛性。
• 使用迭代优化计算集成估计器，平衡对单个估计的保真度与整体稳定性。

实验结果

研究问题

• RQ1 基于改进Cholesky的估计集合能否提升大稀疏协方差矩阵估计的准确性和稳定性？
• RQ2 在改进Cholesky框架中，变量排序的选择如何影响单个协方差矩阵估计的质量？
• RQ3 将多个Cholesky基估计聚合为单一、稳健且正定的估计器的最优方式是什么？
• RQ4 所提出的集成估计器在高维渐近框架下是否保持一致性和收敛性？
• RQ5 在弱正则性条件下，该方法能否有效恢复潜在协方差矩阵的真实稀疏结构？

主要发现

• 所提出的集成估计器由于其构造方式（即正定矩阵的凸组合），被保证为正定。
• 即使在高维设置下，该方法也能有效捕捉真实协方差矩阵的潜在稀疏结构。
• 在弱正则性条件下建立了算法收敛性，确保了迭代计算的稳定性。
• 证明了渐近收敛性，表明随着样本量增加，估计器趋近于真实协方差矩阵。
• 模拟研究与一个真实数据实例表明，该方法在估计准确性和稳定性方面优于传统的样本协方差矩阵及其他稀疏估计器。