[论文解读] Extended Bayesian Information Criteria for Gaussian Graphical Models

Rina Foygel, Mathias Drton|arXiv (Cornell University)|Nov 30, 2010

Statistical Methods and Inference参考文献 10被引用 709

一句话总结

本文提出了一种用于高斯图模型的扩展贝叶斯信息准则（EBIC），在变量数 $p$ 和样本量 $n$ 同时增长的高维设定下保持了一致性。通过引入可调的惩罚参数 $ \gamma$，该准则通过偏好稀疏模型来改进结构学习，并在 $p$、$n$ 和非零参数个数 $q$ 的温和增长条件下，理论上证明了其能一致地恢复真实的图结构。当 $p$ 和 $q$ 随 $n$ 增长时，该方法在模拟中优于标准 BIC 和交叉验证。

ABSTRACT

Gaussian graphical models with sparsity in the inverse covariance matrix are of significant interest in many modern applications. For the problem of recovering the graphical structure, information criteria provide useful optimization objectives for algorithms searching through sets of graphs or for selection of tuning parameters of other methods such as the graphical lasso, which is a likelihood penalization technique. In this paper we establish the consistency of an extended Bayesian information criterion for Gaussian graphical models in a scenario where both the number of variables p and the sample size n grow. Compared to earlier work on the regression case, our treatment allows for growth in the number of non-zero parameters in the true model, which is necessary in order to cover connected graphs. We demonstrate the performance of this criterion on simulated data when used in conjunction with the graphical lasso, and verify that the criterion indeed performs better than either cross-validation or the ordinary Bayesian information criterion when p and the number of non-zero parameters q both scale with n.

研究动机与目标

• 解决在变量数 $p$ 和样本量 $n$ 同时增长的高维设定下，一致图模型选择的挑战。
• 通过将准则扩展至处理模型复杂度增加和连通图，克服经典 BIC 假设 $p$ 固定的局限性。
• 开发一种理论基础坚实的信息准则，即使在真实模型中非零参数个数随 $n$ 增长时，也能保持一致性。
• 为图形 lasso 等方法的调参选择提供标准 BIC 和交叉验证的实用替代方案。
• 在非渐近框架下建立扩展 BIC 的理论一致性，允许 $p$ 和 $q$ 随 $n$ 中等增长。

提出的方法

• 扩展 BIC 定义为 $\text{BIC}_\gamma(\mathbf{E}) = -2l_n(\hat{\Theta}(\mathbf{E})) + |\mathbf{E}|\log n + 4|\mathbf{E}|\gamma\log p$，其中 $\mathbf{E}$ 是候选图的边集，$l_n$ 是最大化对数似然。
• 惩罚项 $4|\mathbf{E}|\gamma\log p$ 增强了对模型复杂度的惩罚，$\gamma \in [0,1]$ 控制惩罚强度。
• 考虑在边数 $|\mathbf{E}| \leq q$ 的可分解图受限模型空间内进行穷举搜索，其中 $q$ 随 $n$ 增长。
• 理论分析依赖于浓度不等式（CSB）、特征值界以及通过 Beta 和卡方分布对似然差的随机优势分析。
• 通过所有边数 $|\mathbf{E}| \leq q$ 的候选模型的并集界，推导出非渐近界，确保高概率一致性。
• 关键技术工具包括对数似然的泰勒展开、得分向量的 Frobenius 范数控制，以及 Hessian 矩阵的特征值控制。

实验结果

研究问题

• RQ1 当 $p$ 和 $n$ 同时增长时，具有可调 $\gamma$ 参数的扩展 BIC 是否能保持图模型选择的一致性？
• RQ2 在 $p$ 和非零参数个数 $q$ 随 $n$ 增长的高维设定下，扩展 BIC 是否优于标准 BIC 和交叉验证？
• RQ3 对于模型复杂度不断增加的模型（包括边数 $q = |\mathbf{E}_0|$ 增长的连通图），扩展 BIC 是否具有一致性？
• RQ4 在高斯图模型中，$\gamma$ 的选择如何影响模型选择一致性与惩罚强度之间的权衡？
• RQ5 扩展 BIC 是否能与图形 lasso 有效结合，用于超越一致性证明理论假设的实际结构学习？

主要发现

• 当 $\gamma > 1 - \frac{1}{4\kappa}$ 时，扩展 BIC 在 $p$、$n$ 和 $q$ 的温和增长条件下，以高概率一致地恢复真实图结构 $\mathbf{E}_0$。
• 在非渐近条件 (5) 和 (6) 下，扩展 BIC 以至少 $1 - \frac{1}{4\sqrt{\pi}\log p}\frac{p^{-\epsilon_0}}{1-p^{-\epsilon_0}} - \frac{1}{\sqrt{\pi\log p}}p^{-\epsilon_1}$ 的概率选择真实模型 $\mathbf{E}_0$。
• 当 $p$ 和 $q$ 随 $n$ 增长时，该准则在模拟中优于标准 BIC 和交叉验证，尤其在恢复正确边集方面表现更优。
• 正的 $\gamma$ 值会增强对复杂模型的惩罚，这在非零参数个数随 $n$ 增长时对一致性至关重要。
• 即使真实模型的边数不断增长，扩展 BIC 的理论一致性依然成立，这为覆盖连通图提供了必要条件。
• 实证结果证实，将扩展 BIC 与图形 lasso 结合可显著提升高维设定下的图推断性能，尽管该方法的理论依据仅针对穷举搜索。