[论文解读] Bayesian Low Rank and Sparse Covariance Matrix Decomposition

Lin Zhang, Abhra Sarkar+1 more|arXiv (Cornell University)|Oct 15, 2013

Statistical Methods and Inference参考文献 37被引用 5

一句话总结

该论文提出了一种贝叶斯方法，用于通过未知因子数量的因子模型，对高维协方差矩阵进行低秩与稀疏分量的分解。通过结合用于因子选择的二值指示变量和用于稀疏性的贝叶斯lasso，该方法在模拟中成功恢复了秩和稀疏性结构，进一步扩展至图形因子模型，对可分解图使用高逆威沙特先验，对一般图使用贝叶斯图形lasso。

ABSTRACT

We consider the problem of estimating high-dimensional covariance matrices of a particular structure, which is a summation of low rank and sparse matrices. This covariance structure has a wide range of applications including factor analysis and random effects models. We propose a Bayesian method of estimating the covariance matrices by representing the covariance model in the form of a factor model with unknown number of latent factors. We introduce binary indicators for factor selection and rank estimation for the low rank component combined with a Bayesian lasso method for the sparse component estimation. Simulation studies show that our method can recover the rank as well as the sparsity of the two components respectively. We further extend our method to a graphical factor model where the graphical model of the residuals as well as selecting the number of factors is of interest. We employ a hyper-inverse Wishart prior for modeling decomposable graphs of the residuals, and a Bayesian graphical lasso selection method for unrestricted graphs. We show through simulations that the extended models can recover both the number of latent factors and the graphical model of the residuals successfully when the sample size is sufficient relative to the dimension.

研究动机与目标

• 开发一种针对具有低秩加稀疏结构的高维协方差矩阵的稳定贝叶斯估计器。
• 联合估计潜在因子的数量和残差协方差矩阵中的稀疏模式。
• 在秩和稀疏性估计中实现不确定性量化，克服经典方法点估计的局限性。
• 将该方法扩展至图形因子模型，其中潜在因子数量和残差的图结构均是关注重点。
• 提供一个完整的贝叶斯框架，采用共轭先验和MCMC抽样以实现后验推断。

提出的方法

• 通过奇异值分解表示低秩分量 $ L $，即 $ L = M D_{\tau} M^T $，其中 $ M $ 为因子载荷矩阵，$ D_{\tau} $ 包含平方奇异值。
• 为每个潜在因子引入二值指示变量，以实现自动因子选择和秩估计。
• 对稀疏分量 $ S $ 的非对角线元素应用贝叶斯lasso先验，从而在保持正定性的同时实现稀疏性。
• 当图形模型为可分解图时，对残差协方差矩阵 $ S $ 使用高逆威沙特先验。
• 对非可分解图形模型采用贝叶斯图形lasso，以实现灵活的结构学习。
• 利用共轭先验和矩阵恒等式推导所有参数的完整条件分布，从而实现高效的MCMC抽样。

实验结果

研究问题

• RQ1 贝叶斯方法能否联合估计高维协方差矩阵中潜在因子的数量和稀疏模式？
• RQ2 所提出的方法是否能准确恢复低秩分量的真实秩和残差协方差矩阵的稀疏结构？
• RQ3 当样本量足够时，该方法在潜在因子数量和残差的条件独立图均未知的图形因子模型中表现如何？
• RQ4 使用二值指示变量和贝叶斯lasso是否能提供优于经典正则化方法的不确定性量化？
• RQ5 该方法在样本量相对于维度变化时的表现如何？

主要发现

• 在模拟研究中，该方法即使在样本量相对于维度适中时，也能成功恢复低秩分量的真实秩。
• 稀疏分量被准确估计，贝叶斯lasso有效识别出残差协方差矩阵中的零非对角线元素。
• 在图形因子模型中，当样本量足够时，该方法能正确识别潜在因子数量和残差的条件独立结构。
• 使用高逆威沙特先验可实现可分解图形模型的有效后验推断，且结构学习合理。
• 贝叶斯lasso组件能有效在残差协方差矩阵中诱导稀疏性，后验包含概率与真实稀疏模式一致。
• MCMC抽样收敛迅速，后验分布为秩和稀疏性估计提供了可靠的不确定性估计。