[论文解读] Bayesian Estimation of Gaussian Graphical Models with Projection Predictive Selection

Donald R. Williams, Juho Piironen+2 more|arXiv (Cornell University)|Jan 17, 2018

Bayesian Modeling and Causal Inference被引用 7

一句话总结

本文提出了一种新颖的贝叶斯方法，用于使用投影预测变量选择估计稀疏高斯图形模型，以识别条件独立性结构。通过利用预测密度投影，该方法在频率学风险方面表现更优，并且与经典方法和替代贝叶斯估计器相比，显著减少了假阳性结果，尤其是在 p ≈ n 的高维设置下。

ABSTRACT

Gaussian graphical models are used for determining conditional relationships between variables. This is accomplished by identifying off-diagonal elements in the inverse-covariance matrix that are non-zero. When the ratio of variables (p) to observations (n) approaches one, the maximum likelihood estimator of the covariance matrix becomes unstable and requires shrinkage estimation. Whereas several classical (frequentist) methods have been introduced to address this issue, Bayesian methods remain relatively uncommon in practice and methodological literatures. Here we introduce a Bayesian method for estimating sparse matrices, in which conditional relationships are determined with projection predictive selection. Through simulation and an applied example, we demonstrate that the proposed method often outperforms both classical and alternative Bayesian estimators with respect to frequentist risk and consistently made the fewest false positives.We end by discussing limitations and future directions, as well as contributions to the Bayesian literature on the topic of sparsity.

研究动机与目标

• 解决在 p ≈ n 时最大似然估计在高斯图形模型中的不稳定性问题。
• 开发一种贝叶斯方法，有效在精度矩阵中诱导稀疏性，以识别条件独立关系。
• 与现有经典方法和贝叶斯方法相比，提高估计准确性并减少假阳性结果。
• 为贝叶斯稀疏图形模型文献贡献一种新型、有原则的方法。

提出的方法

• 使用在精度矩阵上采用扩散先验的贝叶斯估计，以允许稀疏结构学习。
• 应用投影预测选择，通过将完整模型投影到子模型上来识别最相关的条件独立关系。
• 采用基于预测密度差异的顺序选择过程，迭代选择最能保持预测性能的变量。
• 利用包含所有变量的参考模型，并将其投影到嵌套子模型上，以识别最优稀疏结构。
• 通过完整模型与简化模型的预测密度之间的 Kullback-Leibler 散度来度量变量重要性。
• 基于最小预测损失并最大化稀疏性来选择最终模型。

实验结果

研究问题

• RQ1 所提出的贝叶斯投影预测选择方法在频率学风险方面与经典方法和替代贝叶斯估计器相比如何？
• RQ2 该方法在高维高斯图形模型中在多大程度上减少了假阳性边检测？
• RQ3 当 p ≈ n 时，该方法能否一致地识别出正确的条件独立性结构？
• RQ4 该方法在不同数据生成机制和稀疏性水平下的表现如何变化？

主要发现

• 在各种模拟情景下，所提出的方法始终比经典方法和替代贝叶斯估计器具有更低的频率学风险。
• 与竞争方法相比，该方法在高维设置下显著减少了假阳性边检测，尤其在 p ≈ n 时表现更优。
• 该方法在多种数据生成机制下表现出稳健性能，包括中等至高稀疏性的情形。
• 投影预测选择实现了有效的模型简化，同时保持了预测准确性，从而产生了更具可解释性和稳定性的图形模型。
• 在选择准确性方面，该方法优于竞争对手，尤其是在变量数接近观测数时。
• 该方法为频率学收缩估计器提供了一种有原则的贝叶斯替代方案，在稀疏结构学习中具有更高的可解释性和可靠性。