[论文解读] Markov Properties for Graphical Models with Cycles and Latent Variables

Patrick Forré, Joris M. Mooij|arXiv (Cornell University)|Oct 24, 2017

Bayesian Modeling and Causal Inference参考文献 32被引用 31

一句话总结

本文提出了超边依赖有向图（HEDGes），一种统一的图模型框架，它同时推广了边际DAG（用于潜变量）和有向混合图（用于环路），使得能够构建包含环路和未观测混淆因子的概率图模型。该文定义了多种马尔可夫性质——因子分解、结构方程以及基于σ-分离的全局马尔可夫性质——并表明在环路情况下这些性质并不等价，其中σ-分离作为此类模型中条件独立性的稳健准则脱颖而出。

ABSTRACT

We investigate probabilistic graphical models that allow for both cycles and latent variables. For this we introduce directed graphs with hyperedges (HEDGes), generalizing and combining both marginalized directed acyclic graphs (mDAGs) that can model latent (dependent) variables, and directed mixed graphs (DMGs) that can model cycles. We define and analyse several different Markov properties that relate the graphical structure of a HEDG with a probability distribution on a corresponding product space over the set of nodes, for example factorization properties, structural equations properties, ordered/local/global Markov properties, and marginal versions of these. The various Markov properties for HEDGes are in general not equivalent to each other when cycles or hyperedges are present, in contrast with the simpler case of directed acyclic graphical (DAG) models (also known as Bayesian networks). We show how the Markov properties for HEDGes - and thus the corresponding graphical Markov models - are logically related to each other.

研究动机与目标

• 开发一个统一的图模型框架，以同时容纳环路和潜变量，扩展现有模型如mDAGs和DMGs。
• 为这一类新图定义并分析多种马尔可夫性质（因子分解、结构方程、全局/局部马尔可夫性质）。
• 建立这些马尔可夫性质之间的逻辑关系，尤其是在边际化和存在环路的情况下。
• 提出一种新的σ-分离准则，将其推广为d-分离和m-分离，以处理环路和非线性函数关系。
• 定义一类行为良好的模块化结构因果模型（mSCMs），以一致方式支持干预、边际化和反馈回路。

提出的方法

• 提出超边依赖有向图（HEDGes）作为mDAGs和DMGs的推广，结合有向边和超边以表示潜变量混淆和循环依赖。
• 引入σ-分离作为HEDGes中条件独立性的新准则，将其推广至循环和非线性情形下的d-分离和m-分离。
• 定义多种马尔可夫性质：因子分解、结构方程（SEP）、有序/局部/全局马尔可夫性质及其边际版本。
• 建立这些性质之间的逻辑蕴含关系，表明$\text{aFP} \Rightarrow \text{dGMP} \Rightarrow \text{gdGMP} \Leftarrow \text{lsSEP}$，且反向蕴含关系需额外假设。
• 引入模块化结构因果模型（mSCMs），通过超边汇总潜变量，确保干预和边际化的明确定义。
• 利用先前工作的雅可比矩阵分析，证明在何种条件下结构方程可推出循环设定下的全局马尔可夫性质。

实验结果

研究问题

• RQ1 我们如何将无环模型中的马尔可夫性质推广到同时包含环路和潜变量的图模型？
• RQ2 对于具有潜变量混淆因子的循环和非线性结构方程模型，d-分离和m-分离的正确推广是什么？
• RQ3 在存在环路的情况下，标准马尔可夫性质（如因子分解、全局马尔可夫、结构方程）是否等价？若不等价，它们之间的逻辑依赖关系如何？
• RQ4 我们能否为包含环路和潜变量的模型定义一个一致的干预与边际化框架？
• RQ5 在循环模型中，结构方程性质在何种条件下可推出全局马尔可夫性质？

主要发现

• 在存在环路的情况下，HEDGes的多种马尔可夫性质（如因子分解、结构方程、全局马尔可夫性质）并不等价，这与无环DAGs中的情况不同。
• 所提出的σ-分离准则推广了d-分离和m-分离，并能正确识别具有非线性函数和潜变量混淆因子的循环模型中的条件独立性。
• 结构方程性质的边际版本（lsSEP）与全局马尔可夫性质（gdGMP）在逻辑上相关，其中在特定条件下gdGMP可由lsSEP推出。
• 本文证明了祖先因子分解性质（aFP）蕴含有向全局马尔可夫性质（dGMP），而后者在边际化下又蕴含全局马尔可夫性质（gdGMP）。
• 定义了一类新的模块化结构因果模型（mSCMs），其支持明确定义的干预、边际化和反馈回路，且通过σ-分离一致编码条件独立性。
• 该框架能够对潜变量混淆和环路进行完整且一致的处理，通过超边和σ-分离将mDAGs和ADMGs的结果推广至循环情形。