[论文解读] Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection

Donald R. Williams, Juho Piironen+2 more|arXiv (Cornell University)|Jan 17, 2018

Bayesian Modeling and Causal Inference参考文献 36被引用 8

一句话总结

本文提出了一种新颖的贝叶斯方法，用于通过Kullback-Leibler散度和交叉验证，利用投影预测选择来估计稀疏高斯图模型，以识别条件独立结构。与贝叶斯模型平均、最大后验估计以及经典方法（如图模型lasso和TIGER）相比，该方法在稀疏性、准确性和效率方面表现出色，尤其在高维设置下表现更优。

ABSTRACT

Gaussian graphical models are used for determining conditional relationships between variables. This is accomplished by identifying off-diagonal elements in the inverse-covariance matrix that are non-zero. When the ratio of variables (p) to observations (n) approaches one, the maximum likelihood estimator of the covariance matrix becomes unstable and requires shrinkage estimation. Whereas several classical (frequentist) methods have been introduced to address this issue, fully Bayesian methods remain relatively uncommon in practice and methodological literatures. Here we introduce a Bayesian method for estimating sparse matrices, in which conditional relationships are determined with projection predictive selection. With this method, that uses Kullback-Leibler divergence and cross-validation for neighborhood selection, we reconstruct the inverse-covariance matrix in both low and high-dimensional settings. Through simulation and applied examples, we characterized performance compared to several Bayesian methods and the graphical lasso, in addition to TIGER that similarly estimates the inverse-covariance matrix with regression. Our results demonstrate that projection predictive selection not only has superior performance compared to selecting the most probable model and Bayesian model averaging, particularly for high-dimensional data, but also compared to the the Bayesian and classical glasso methods. Further, we show that estimating the inverse-covariance matrix with multiple regression is often more accurate, with respect to various loss functions, and efficient than direct estimation. In low-dimensional settings, we demonstrate that projection predictive selection also provides competitive performance. We have implemented the projection predictive method for covariance selection in the R package GGMprojpred

研究动机与目标

• 解决当变量数（p）接近或超过观测数（n）时，逆协方差矩阵最大似然估计的不稳定性问题。
• 开发一种完全贝叶斯的协方差选择方法，以在高维设置下优于现有方法。
• 评估投影预测选择在贝叶斯模型平均、最大后验估计以及经典方法（如图模型lasso和TIGER）中的性能表现。
• 证明通过投影进行回归估计的精度矩阵比直接估计更准确且更高效。

提出的方法

• 使用投影预测选择，通过迭代选择最能保持预测性能的变量，识别非零偏相关系数。
• 利用Kullback-Leibler散度和交叉验证指导邻域选择并评估预测准确性。
• 通过多个回归模型估计精度矩阵，其中每个变量对所有其他变量进行回归，并利用回归系数推断条件依赖关系。
• 应用决策规则将回归系数设为零，基于预测性能实现稀疏性，同时最小化信息损失。
• 在投影后对非正定估计值进行校正，以确保精度矩阵的有效性。
• 在R包GGMprojpred中实现该方法，以支持实际应用和可复现性。

实验结果

研究问题

• RQ1 在高维高斯图模型中，投影预测选择在预测准确性和稀疏性方面与贝叶斯模型平均和最大后验估计相比表现如何？
• RQ2 基于回归的精度矩阵投影估计是否在准确性和计算效率方面优于直接估计？
• RQ3 在低维和高维设置下，投影预测选择在Kullback-Leibler散度和二次损失等不同损失函数下的表现如何变化？
• RQ4 与替代方法相比，投影预测选择在减少假阳性边方面有多大的改善，特别是在真实图结构为稀疏时？
• RQ5 与经典方法（如图模型lasso和TIGER）相比，该方法在恢复真实条件独立结构方面的表现如何？

主要发现

• 投影预测选择在Kullback-Leibler散度和对数评分方面表现更优，优于贝叶斯模型平均和最大后验估计，尤其在高维设置下。
• 该方法产生的图结构更稀疏且更易解释，假阳性更少，尽管由于仅选择最具信息量的特征，敏感性较低。
• 通过投影进行基于回归的精度矩阵估计比直接估计逆协方差矩阵更准确且计算效率更高。
• 在低维设置下，投影预测选择表现出具有竞争力的性能，展示了在不同数据环境下的鲁棒性。
• 该方法始终比经典TIGER和glasso方法更准确地估计精度矩阵，尤其在高维条件下表现更优。
• 尽管初始估计不保证为正定矩阵，但经过后处理校正后，其估计精度优于直接估计和经典回归方法。