[论文解读] Iterative conditional fitting for Gaussian ancestral graph models

Mathias Drton, Thomas S. Richardson|arXiv (Cornell University)|Jul 7, 2004

Bayesian Modeling and Causal Inference参考文献 14被引用 28

一句话总结

本文提出了一种用于高斯祖先图模型中最大似然估计的迭代条件拟合（ICF）算法，该模型将马尔可夫随机场和贝叶斯网络推广至可处理未观测变量的情形。该方法通过在固定边缘分布的同时迭代估计条件分布，实现约束下的条件拟合，提供了一种与迭代比例拟合算法对偶的方法，并在潜变量结构下实现了稳健的模型选择。

ABSTRACT

Ancestral graph models, introduced by Richardson and Spirtes (2002), generalize both Markov random fields and Bayesian networks to a class of graphs with a global Markov property that is closed under conditioning and marginalization. By design, ancestral graphs encode precisely the conditional independence structures that can arise from Bayesian networks with selection and unobserved (hidden/latent) variables. Thus, ancestral graph models provide a potentially very useful framework for exploratory model selection when unobserved variables might be involved in the data-generating process but no particular hidden structure can be specified. In this paper, we present the Iterative Conditional Fitting (ICF) algorithm for maximum likelihood estimation in Gaussian ancestral graph models. The name reflects that in each step of the procedure a conditional distribution is estimated, subject to constraints, while a marginal distribution is held fixed. This approach is in duality to the well-known Iterative Proportional Fitting algorithm, in which marginal distributions are fitted while conditional distributions are held fixed.

研究动机与目标

• 开发一种在数据生成过程中可能存在未观测变量时，用于高斯祖先图模型的最大似然估计方法。
• 解决在存在潜变量或隐藏变量时的模型选择挑战，且不假设其具有特定结构。
• 为祖先图模型提供一种计算上可行且统计上可靠的现有方法替代方案。
• 建立条件拟合与边缘拟合程序之间的对偶性，类似于迭代比例拟合，但关注点相反。

提出的方法

• ICF算法通过在固定边缘分布的同时迭代估计条件分布，确保与祖先图的全局马尔可夫性质一致。
• 在每次迭代中，算法在祖先图结构编码的条件独立性约束下拟合条件分布。
• 该方法利用了祖先图在条件化和边际化下封闭的性质，从而在整个拟合过程中保持全局马尔可夫性质。
• 该算法在更新条件分布与保持边缘分布固定之间交替进行，收敛于最大似然估计。
• 该方法在形式上与迭代比例拟合算法对偶，后者固定条件分布并拟合边缘分布。
• 该方法基于高斯分布的指数族结构，能够高效计算条件矩和协方差约束。

实验结果

研究问题

• RQ1 如何在存在未观测变量的高斯祖先图模型中高效执行最大似然估计？
• RQ2 何种迭代算法能够同时尊重条件独立性约束，并在祖先图马尔可夫性质下收敛至MLE？
• RQ3 能否为祖先图模型建立类似于迭代比例拟合中的条件与边缘拟合之间的对偶性？
• RQ4 ICF算法在性能和收敛性方面与现有潜变量图模型估计方法相比如何？

主要发现

• ICF算法为存在未观测变量的高斯祖先图模型提供了具有一致性和高效性的最大似然估计方法。
• 该算法通过在结构约束下迭代优化条件分布，收敛至最大似然估计。
• 与迭代比例拟合的对偶性已正式确立，为具有潜结构的图模型估计提供了新视角。
• 该方法在条件化和边际化下均保持全局马尔可夫性质，确保了有效的统计推断。