[论文解读] Smooth, identifiable supermodels of discrete DAG models with latent variables

Robin J. Evans, Thomas S. Richardson|arXiv (Cornell University)|Nov 20, 2015

Bayesian Modeling and Causal Inference参考文献 15被引用 8

一句话总结

本文提出了一种针对具有潜变量的DAG的平滑、可识别参数化方法，避免了传统潜变量模型中存在的不规则性和不可识别性。通过使用基于do-演算干预的因果可解释、完全可识别参数，该模型被证明是一个已知维度的弯曲指数族，从而可在无需对潜变量做参数假设的前提下实现标准统计推断和最大似然估计。

ABSTRACT

We provide a parameterization of the discrete nested Markov model, which is a supermodel that approximates DAG models (Bayesian network models) with latent variables. Such models are widely used in causal inference and machine learning. We explicitly evaluate their dimension, show that they are curved exponential families of distributions, and fit them to data. The parameterization avoids the irregularities and unidentifiability of latent variable models. The parameters used are all fully identifiable and causally-interpretable quantities.

研究动机与目标

• 解决标准潜变量模型在DAG中出现的非正则性和不可识别性问题。
• 开发一种避免对未观测变量做参数假设的参数化方法。
• 确保所有模型参数均可识别且具有因果可解释性。
• 将离散嵌套马尔可夫模型确立为具有已知维度的弯曲指数族。
• 实现标准统计推断，包括似然比检验和最大似然估计。

提出的方法

• 基于无环定向混合图（ADMGs）的递归分解，表示条件独立性和分布约束。
• 将可识别参数定义为干预分布，如P(Y=0|do(X=x,M=m))，这些参数源自do-演算。
• 采用从满足约束的正分布到可识别参数的平滑双射映射，确保统计规律性。
• 应用递归分解性质，推导出模型维度为d(G) = Σ|˜XH|·|XT|，其中H遍历ADMG的所有分量。
• 通过适配Evans和Richardson（2010）的算法实现最大似然估计，利用参数映射实现数值拟合。
• 使用似然比统计量进行假设检验，其自由度等于模型维度之差，并与χ²分布比较。

实验结果

研究问题

• RQ1 能否构建一个离散DAG潜变量超模型，以避免标准潜变量模型的非正则性和不可识别性？
• RQ2 是否存在可识别、具有因果可解释性的参数，能够完全描述此类模型中的观测分布？
• RQ3 能否证明离散嵌套马尔可夫模型是一个具有已知维度的弯曲指数族？
• RQ4 能否将标准统计推断方法（如似然比检验）应用于该模型？
• RQ5 能否通过可识别参数和数值优化方法，有效拟合该模型至真实世界数据？

主要发现

• 离散嵌套马尔可夫模型是一个弯曲指数族，其维度为d(G) = Σ|˜XH|·|XT|，且对每个ADMG均可显式计算。
• 在采用如P(Y=0|do(X=x,M=m))等干预分布的参数化下，该模型是平滑且双射的，确保了完全可识别性。
• 该参数化方法避免了对潜变量状态空间的假设，因此为非参数化，对未观测混杂具有鲁棒性。
• 在威斯康星纵向研究数据中，图8(b)所示结构的模型在6个自由度上偏差为5.57，表明拟合良好。
• 估计的因果效应为P(Y=1|do(X=1)) = 0.50（标准误0.018），P(Y=1|do(X=0)) = 0.36（标准误0.016），表明高家庭收入对未来收入存在显著因果效应。
• 缺少边的模型（如图8(a)所示）被强烈拒绝，偏差为31.3，自由度为2。