[论文解读] Gaussian Covariance faithful Markov Trees

Dhafer Malouche, Bala Rajaratnam|ArXiv.org|Dec 14, 2009

Bayesian Modeling and Causal Inference参考文献 6被引用 3

一句话总结

本文通过一种新颖的方法，利用子图中的基于路径的条件独立性分析，证明了树状结构协方差图的多元正态分布必然与其图结构忠实。该方法通过证明关键路径上的偏相关系数非零来建立忠实性，与浓度图模型中现有方法形成区分。

ABSTRACT

A covariance graph is an undirected graph associated with a multivariate probability distribution of a given random vector where each vertex represents each of the different components of the random vector and where the absence of an edge between any pair of variables implies marginal independence between these two variables. Covariance graph models have recently received much attention in the literature and constitute a sub-family of graphical models. Though they are conceptually simple to understand, they are considerably more difficult to analyze. Under some suitable assumption on the probability distribution, covariance graph models can also be used to represent more complex conditional independence relationships between subsets of variables. When the covariance graph captures or reflects all the conditional independence statements present in the probability distribution the latter is said to be faithful to its covariance graph - though no such prior guarantee exists. Despite the increasingly widespread use of these two types of graphical models, to date no deep probabilistic analysis of this class of models, in terms of the faithfulness assumption, is available. Such an analysis is crucial in understanding the ability of the graph, a discrete object, to fully capture the salient features of the probability distribution it aims to describe. In this paper we demonstrate that multivariate Gaussian distributions that have trees as covariance graphs are necessarily faithful. The method of proof is original as it uses an entirely new approach and in the process yields a technique that is novel to the field of graphical models.

研究动机与目标

• 建立多元正态分布与其协方差图之间的忠实性，特别是当图结构为树时。
• 解决尽管协方差图模型应用日益广泛，但其忠实性仍缺乏深入概率分析的问题。
• 开发一种全新的、自包含的方法来证明忠实性，该方法与浓度图模型中现有方法有本质区别。

提出的方法

• 该证明采用一种基于分析树中特定顶点集所诱导子向量的逆协方差矩阵的新技术。
• 识别协方差图 G₀ 中集合 A 和 B 之间的关键路径，该路径与分离集 S = V\(A∪B∪S) 相交，以确保路径连通性。
• 使用涉及协方差矩阵子矩阵的行列式公式，计算偏相关系数 k_{u'v'|S}。
• 通过证明公式中表达式的非零性（源于路径结构和树的无环性），证明 k_{u'v'|S} ≠ 0。
• 论证依赖于这样一个事实：{u',v'} ∪ S 上的诱导子图本身是对应子向量的有效协方差图，从而可精确计算条件依赖性。
• 采用反证法：假设条件独立性会导致 k_{u'v'|S} = 0，但该假设在树结构下被证明不可能成立。

实验结果

研究问题

• RQ1 协方差图呈树状结构的多元正态分布是否总是与其图结构忠实？
• RQ2 能否开发一种全新的、自包含的方法来证明协方差图模型中的忠实性，且与浓度图模型中使用的方法有本质不同？
• RQ3 协方差图中树的结构是否能保证所有条件独立性陈述都被图所编码？
• RQ4 是否可以在不依赖交集性或全局马尔可夫性质的前提下建立忠实性？
• RQ5 路径结构在决定高斯图模型中非零偏相关性方面起什么作用？

主要发现

• 所有协方差图为树的多元正态分布均与其图结构忠实，即图完整编码了分布中的所有条件独立关系。
• 忠实性结果通过一种新颖方法证明，该方法利用诱导子图中的基于路径的行列式公式计算偏相关系数。
• 该方法依赖于这样一个事实：包含某条路径的任意三个顶点的诱导子图，本身即为对应子向量的有效协方差图。
• 该证明表明，当一条路径通过 S 连接 A 和 B 时，偏相关系数 k_{u'v'|S} 非零，从而与条件独立性假设矛盾。
• 该结果与浓度图模型形成对比：在浓度图模型中，由于条件化时子图结构无法保持，相同方法不适用。
• 该方法与先前用于浓度图模型的方法有本质不同，为其他图模型类别中的忠实性分析开辟了新途径。