[论文解读] High-Dimensional Gaussian Graphical Model Selection: Tractable Graph Families

Animashree Anandkumar, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Jul 6, 2011

Bayesian Modeling and Causal Inference参考文献 55被引用 11

一句话总结

该论文提出了一种基于经验条件协方差阈值化的可计算算法，用于高维高斯图模型选择。在行走可求和性（walk-summability）和稀疏局部顶点分离集条件下，该方法实现了结构一致性（稀疏一致性），所需样本量为 n = ω(J_min log p)，并建立了新颖的非渐近样本复杂度界。

ABSTRACT

We consider the problem of high-dimensional Gaussian graphical model selection. We identify a set of graphs for which an efficient estimation algorithm exists, and this algorithm is based on thresholding of empirical conditional covariances. Under a set of transparent conditions, we establish structural consistency (or sparsistency) for the proposed algorithm, when the number of samples n = ω(J min log p), where p is the number of variables and Jmin is the minimum (absolute) edge potential of the graphical model. The sufficient conditions for sparsistency are based on the notion of walk-summability of the model and the presence of sparse local vertex separators in the underlying graph. We also derive novel non-asymptotic necessary conditions on the number of samples required for sparsistency.

研究动机与目标

• 识别在高维高斯图模型中可实现高效且一致的结构学习的图族。
• 在高维设定下，建立结构一致性（稀疏一致性）对样本量的充分必要条件。
• 刻画行走可求和性和稀疏局部顶点分离集在实现高效估计中的作用。
• 推导稀疏一致性的非渐近样本复杂度界，优于现有的渐近结果。

提出的方法

• 该方法采用经验条件协方差的阈值化来估计图模型结构。
• 其依赖于精度矩阵的行走可求和性概念，以确保估计器的稳定性和一致性。
• 该算法利用图中稀疏局部顶点分离集的存在，以降低计算复杂度。
• 在样本量满足 n = ω(J_min log p) 的条件下，建立了结构一致性，其中 J_min 为最小绝对边势。
• 利用信息论和图论工具，推导出样本量的非渐近必要条件。
• 该方法在所识别的图类上具有计算可处理性，支持可扩展的结构学习。

实验结果

研究问题

• RQ1 哪些高维高斯图模型族可通过条件协方差阈值化实现高效且一致的结构学习？
• RQ2 模型结构（如行走可求和性、顶点分离集）的何种充分条件可保证结构一致性？
• RQ3 为实现一致的结构恢复，所需样本量如何随变量数和最小边势变化？
• RQ4 在高维设定下，稀疏一致性所需的样本量的非渐近下界是什么？

主要发现

• 所提出的基于阈值化的算法在行走可求和性和稀疏局部顶点分离集条件下实现了结构一致性（稀疏一致性）。
• 该方法在样本量满足 n = ω(J_min log p) 时可实现一致的结构恢复，其中 J_min 为最小绝对边势。
• 模型的行走可求和性是确保条件协方差阈值化估计器稳定性和一致性的关键充分条件。
• 图中稀疏局部顶点分离集的存在可实现高效计算并提升样本效率。
• 推导出新颖的非渐近样本量必要条件，为稀疏一致性所需的最小样本数提供了更紧的界。
• 研究结果清晰地建立了图拓扑（通过分离集和行走可求和性）与高维结构学习可行性之间的联系。