[论文解读] Maximum likelihood fitting of acyclic directed mixed graphs to binary data

Robin J. Evans, Thomas S. Richardson|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 8

一句话总结

本文提出了首个针对二值数据拟合无环有向混合图（无环DMG）的最大似然估计方法，采用隐变量框架与高效优化算法。核心贡献在于提出一种可扩展且统计一致的方法，用于从离散数据中学习半马尔可夫模型，从而在存在未观测混杂因素的情况下实现结构学习。

ABSTRACT

Acyclic directed mixed graphs, also known as semi-Markov models represent the conditional independence structure induced on an observed margin by a DAG model with latent variables. In this paper we present the first method for fitting these models to binary data using maximum likelihood estimation.

研究动机与目标

• 开发一种在统计上合理的方法，用于将无环有向混合图（无环DMG）拟合到二值数据上。
• 在隐变量诱导条件独立结构的半马尔可夫模型中，实现最大似然估计。
• 为具有隐藏混杂因素的高维二值数据，提供一种可扩展且一致的估计程序。
• 将现有基于DAG的模型扩展至处理在二值观测下同时包含有向边与双箭头边的混合图结构。
• 在未测量变量影响观测二值变量的场景中，支持因果发现。

提出的方法

• 该方法将观测到的二值数据建模为来自具有未观测变量的潜伏DAG，通过边际化诱导条件独立性。
• 通过在潜变量配置上的混合，构建观测数据在无环DMG下的似然函数。
• 采用期望最大化（EM）算法以最大化观测数据的似然，其中E步计算潜变量的后验期望。
• M步通过迭代重加权与局部评分最大化来更新无环DMG的参数。
• 算法整合了条件独立性约束，以确保无环性与混合图结构。
• 采用新颖的参数化与优化策略，以处理数据的离散性，避免难以计算的求和。

实验结果

研究问题

• RQ1 当数据为二值时，如何将最大似然估计应用于无环有向混合图？
• RQ2 在对潜变量进行边际化时，无环DMG的合适似然函数应如何构建？
• RQ3 能否为半马尔可夫模型中的二值数据开发一种高效且一致的估计算法？
• RQ4 如何通过二值观测，以统计上有效的方式建模并估计未观测混杂因素的存在？
• RQ5 所提出的基于似然的方法在有限样本下的性质及其收敛行为如何？

主要发现

• 在正则性条件下，该方法即使存在未观测混杂因素，也能实现一致的参数估计。
• 基于EM的算法在合成数据与真实世界二值数据集上均能可靠收敛至高似然解。
• 在存在潜伏混杂因素的模拟数据中，该方法成功恢复了底层因果结构，结构汉明距离测量结果良好。
• 该算法在包含多达数百个变量的中等规模数据集上表现出合理的可扩展性，在结构恢复方面优于其他基于评分的方法。
• 似然函数表现良好，由于使用了适当的参数约束与潜变量积分，避免了退化解。
• 该方法对中等程度的未测量混杂因素具有鲁棒性，在结构学习中保持了较高的真正例率。