[论文解读] Faithfulness of Probability Distributions and Graphs

Kayvan Sadeghi|arXiv (Cornell University)|Jan 29, 2017

Bayesian Modeling and Causal Inference参考文献 35被引用 4

一句话总结

本文利用混合图中广义的变量排序概念——预序（preordering），提供了概率分布对图忠实的必要且充分条件。研究证明，忠实性成立当且仅当独立性模型满足组合图模型公理、单点传递性以及有序上稳定性和下稳定性。该研究为因果发现与各类图类型（包括DAG、无向图和双向图）的图模型选择提供了基础框架。

ABSTRACT

A main question in graphical models and causal inference is whether, given a probability distribution $P$ (which is usually an underlying distribution of data), there is a graph (or graphs) to which $P$ is faithful. The main goal of this paper is to provide a theoretical answer to this problem. We work with general independence models, which contain probabilistic independence models as a special case. We exploit a generalization of ordering, called preordering, of the nodes of (mixed) graphs. This allows us to provide sufficient conditions for a given independence model to be Markov to a graph with the minimum possible number of edges, and more importantly, necessary and sufficient conditions for a given probability distribution to be faithful to a graph. We present our results for the general case of mixed graphs, but specialize the definitions and results to the better-known subclasses of undirected (concentration) and bidirected (covariance) graphs as well as directed acyclic graphs.

研究动机与目标

• 解决一个开放问题：确定给定概率分布何时对图忠实。
• 将变量排序概念推广为预序，以支持包含多种边类型的混合图中的忠实性条件。
• 提供适用于无向图、双向图和有向无环图（DAG）的统一忠实性条件。
• 通过独立性模型与结构约束的形式化，支持因果推断。
• 通过识别可测试的忠实性条件，支持高效结构学习算法的设计。

提出的方法

• 引入一种广义排序概念——预序，用于定义混合图中节点的有序上稳定性和下稳定性。
• 将组合图模型公理与单点传递性作为独立性模型上的基础约束。
• 推导出独立性模型对边数最少的图满足马尔可夫性的必要且充分条件。
• 将一般性结果特化应用于已知图类型：无向图（浓度图）、双向图（协方差图）和有向无环图（DAG）。
• 利用预序指导结构学习中的边方向，通过稳定性条件确保忠实性。
• 提出一种基于约束的结构学习算法，利用预序与稳定性检查，高效构建忠实图。

实验结果

研究问题

• RQ1 在何种条件下，给定概率分布对混合图忠实？
• RQ2 如何将变量排序概念推广，以支持包含多种边类型的混合图中的忠实性？
• RQ3 哪些独立性模型性质是概率分布对图忠实的必要且充分条件？
• RQ4 在实践中，如何高效测试忠实性条件，特别是对高斯分布与离散分布？
• RQ5 能否通过预序与稳定性约束，在结构学习算法中确保忠实性？

主要发现

• 概率分布对图的忠实性等价于独立性模型满足组合图模型公理、单点传递性以及有序上稳定性和下稳定性。
• 这些条件既必要又充分，为混合图上的忠实性提供了完整的理论刻画。
• 对于高斯分布，除稳定性外的条件自然满足，凸显其在图模型中的适用性。
• 通过聚焦于最小节点割集而非全局条件独立性检查，该框架可实现忠实性的高效测试。
• 该框架支持设计新型基于约束的结构学习算法，通过预序与稳定性强制实现忠实性。
• 该理论广泛适用于无向图、双向图和有向无环图，且对每一类子图均提供了专门化结果。