[论文解读] High-Dimensional Gaussian Graphical Model Selection: Walk Summability and Local Separation Criterion

Animashree Anandkumar, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Jul 6, 2011

Bayesian Modeling and Causal Inference参考文献 62被引用 67

一句话总结

本文提出了一种计算高效的算法——条件协方差阈值法（Conditional Covariance Thresholding, CCT），用于高维高斯图模型选择。在行走可求和性（walk-summability）和局部分离条件下建立了结构一致性，证明了当样本量满足 $ n = \Omega(J_{\min}^{-2}\log p) $ 时，即可实现一致的结构恢复，并推导出新颖的非渐近样本复杂度下界。

ABSTRACT

We consider the problem of high-dimensional Gaussian graphical model selection. We identify a set of graphs for which an efficient estimation algorithm exists, and this algorithm is based on thresholding of empirical conditional covariances. Under a set of transparent conditions, we establish structural consistency (or sparsistency) for the proposed algorithm, when the number of samples n=omega(J_{min}^{-2} log p), where p is the number of variables and J_{min} is the minimum (absolute) edge potential of the graphical model. The sufficient conditions for sparsistency are based on the notion of walk-summability of the model and the presence of sparse local vertex separators in the underlying graph. We also derive novel non-asymptotic necessary conditions on the number of samples required for sparsistency.

研究动机与目标

• 识别高维高斯图模型选择在计算上可行的图族类别。
• 在高维设定下，为结构一致性建立清晰、可解释的条件。
• 为高斯图模型选择中的任意学习算法推导非渐近样本复杂度下界。
• 将行走可求和性与局部顶点分离集联系起来，通过条件协方差阈值法实现高效结构估计。
• 对超越树状结构或稀疏模型的可计算图模型进行表征。

提出的方法

• 提出条件协方差阈值法（CCT）算法，通过经验条件协方差检验条件独立性。
• 对大小至多为 $ \eta $ 的条件集上的经验条件协方差 $ \widehat{\Sigma}(i,j|S) $ 进行阈值处理以检测边。
• 引入行走可求和性作为关键条件，以确保估计过程的稳定性和收敛性。
• 依赖于局部分离性质，即图中局部顶点分离集的大小受 $ \eta $ 限制。
• 基于 $ J_{\min} $（最小绝对边势）推导样本复杂度界，表明当 $ n = \Omega(J_{\min}^{-2}\log p) $ 时，可实现结构一致性。
• 采用行走和分析与 Fano 型不等式，建立样本量的非渐近必要条件。

实验结果

研究问题

• RQ1 图模型结构与参数需满足何种条件，才能确保在高维高斯图模型中实现高效且一致的结构估计？
• RQ2 行走可求和性与高斯图模型结构学习的可计算性之间有何关系？
• RQ3 基于简单阈值的算法是否可在清晰、可解释的条件下实现结构一致性？
• RQ4 高维高斯图模型中一致结构恢复的根本样本复杂度极限是什么？
• RQ5 局部顶点分离集与图的稀疏性如何影响模型选择的样本需求？

主要发现

• 当样本量满足 $ n = \Omega(J_{\min}^{-2}\log p) $ 时，CCT 算法可实现结构一致性（稀疏一致性），其中 $ J_{\min} $ 为最小绝对边势。
• 模型的行走可求和性确保了条件协方差阈值过程的稳定性，并能实现一致的边检测。
• 存在稀疏的局部顶点分离集（大小受 $ \eta $ 限制）可使计算复杂度达到 $ O(p^{\eta+2}) $，从而在 $ \eta $ 较小时实现方法的可扩展性。
• 本文推导出样本复杂度的非渐近下界，表明在一般条件下，任何算法都无法在少于 $ \Omega(J_{\min}^{-2}\log p) $ 个样本下成功。
• 该方法适用于广泛类别的图，包括 Erdős-Rényi 图、幂律图、小世界图以及大圈长图，这些图在高概率下均满足局部分离性质。
• 尽管条件互信息检验与本方法相关，但在高斯模型中其样本复杂度略差于所提出的条件协方差阈值法。