[论文解读] Structure estimation for discrete graphical models: Generalized covariance matrices and their inverses

Po‐Ling Loh, Martin J. Wainwright|ScholarlyCommons (University of Pennsylvania)|Dec 3, 2012

Bayesian Modeling and Causal Inference参考文献 32被引用 16

一句话总结

本文建立了广义协方差矩阵的逆与离散图模型中条件独立结构之间的理论联系，表明对于具有单元素分离集的图（例如树结构），逆协方差矩阵反映了图的边结构。主要贡献在于将经典高斯图模型结果——即逆协方差矩阵中的零元素表示条件独立性——推广至非高斯、离散型模型，通过指标变量和联结树几何结构实现，从而在存在缺失或损坏数据的情况下，利用改进的Lasso方法和节点回归法实现一致的结构估计。

ABSTRACT

We investigate the relationship between the structure of a discrete graphical model and the support of the inverse of a generalized covariance matrix. We show that for certain graph structures, the support of the inverse covariance matrix of indicator variables on the vertices of a graph reflects the conditional independence structure of the graph. Our work extends results that have previously been established only in the context of multivariate Gaussian graphical models, thereby addressing an open question about the significance of the inverse covariance matrix of a non-Gaussian distribution. The proof exploits a combination of ideas from the geometry of exponential families, junction tree theory and convex analysis. These population-level results have various consequences for graph selection methods, both known and novel, including a novel method for structure estimation for missing or corrupted observations. We provide nonasymptotic guarantees for such methods and illustrate the sharpness of these predictions via simulations.

研究动机与目标

• 确定离散图模型的逆协方差矩阵是否如高斯模型中那样反映条件独立结构。
• 将逆协方差稀疏性与图结构之间经典对应关系推广至非高斯、离散型随机变量。
• 为高维离散图模型在存在缺失或损坏观测值的情况下，开发一致且计算可行的结构估计方法。
• 在高维尺度下，为图选择方法提供理论保证，特别是针对具有单元素分离集或有界度数的图模型。
• 提出一个通用框架，利用广义协方差矩阵与联结树理论，统一指数族分布下的结构估计。

提出的方法

• 提出一种广义协方差矩阵，其基于图的高阶变量子集的指标函数构造，尤其与图的联结树分解相匹配。
• 利用勒让德对偶性和指数族几何，将该广义协方差矩阵的逆与底层图模型的条件独立结构联系起来。
• 应用联结树理论，确保当底层图具有单元素分离集时，逆协方差矩阵继承图的结构。
• 通过在指标变量上进行线性回归，将图Lasso和节点回归方法适配至离散模型，并在高维尺度下提供理论一致性保证。
• 通过修改回归目标以考虑系统性缺失，提出一种校正估计器，确保在标准方法失效时仍保持一致性。
• 采用复合梯度下降法求解存在缺失数据时的非凸优化问题，并保证收敛至最优解的邻域。

实验结果

研究问题

• RQ1 离散图模型的广义协方差矩阵的逆是否如高斯情形一样，反映底层图的条件独立结构？
• RQ2 能否将逆协方差矩阵稀疏性与图结构之间的经典对应关系推广至非高斯、离散型分布？
• RQ3 标准图选择方法（如图Lasso和节点回归）在图具有单元素分离集时，对离散图模型是否一致？
• RQ4 当观测值缺失或损坏时，能否使结构估计在高维尺度下保持一致？
• RQ5 在存在缺失数据的离散模型中，一致恢复图结构所需的理论样本量是多少？其如何随缺失数据比例 $ \rho $ 变化？

主要发现

• 对于具有离散变量的树状图结构，指标变量的标准协方差矩阵的逆恰好具有图结构，即零元素对应于缺失边。
• 对于一般图结构，当底层图具有单元素分离集时，通过联结树团上的指标函数构造的广义协方差矩阵的逆具有图结构。
• 所提出的校正线性回归估计器在系统性缺失数据条件下仍能保持图结构恢复的一致性，而标准节点逻辑回归在此类设置下存在偏差。
• 理论保证表明，对于具有相关性衰减的有界度数图，一致图恢复所需的样本量为 $ n \asymp d^2 \log p $，优于最坏情况下的 $ d^3 \log p $ 边界。
• 模拟结果表明，边恢复的成功概率在预测的样本量阈值处发生急剧转变，从0跃升至1，且随着缺失数据比例 $ \rho $ 增加，该阈值向右移动，验证了理论预测。
• 该方法在观测值受损的高维尺度下具有可证明的一致性，为具有缺失数据的离散图模型提供了首个此类保证。