[论文解读] Graphical Models and Exponential Families

Dan Geiger, Christopher Meek|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 25被引用 40

一句话总结

本文在指数族框架下对图模型进行分类：无向模型为线性指数族（LEFs），有向模型与链图模型为曲指数族（CEFs），含隐变量的模型为分层指数族（SEFs）——在前沿条件下的CEFs有限并集。此外，本文提出一种算法化方法，可自动从含隐变量的贝叶斯网络中推导出条件独立性与依赖性约束，从而支持更优的模型选择。

ABSTRACT

We provide a classification of graphical models according to their representation as subfamilies of exponential families. Undirected graphical models with no hidden variables are linear exponential families (LEFs), directed acyclic graphical models and chain graphs with no hidden variables, including Bayesian networks with several families of local distributions, are curved exponential families (CEFs) and graphical models with hidden variables are stratified exponential families (SEFs). An SEF is a finite union of CEFs satisfying a frontier condition. In addition, we illustrate how one can automatically generate independence and non-independence constraints on the distributions over the observable variables implied by a Bayesian network with hidden variables. The relevance of these results for model selection is examined.

研究动机与目标

• 基于图模型在其指数族框架内的表示，系统性地进行分类。
• 将含隐变量图模型的数学结构形式化为分层指数族（SEFs）。
• 开发一种方法，自动从含未观测变量的贝叶斯网络中推导出条件独立性与依赖性约束。
• 利用图模型在指数族中的代数结构，支持更有效的模型选择。
• 阐明图模型结构与其底层分布统计特性之间的关系。

提出的方法

• 基于其自然参数化方式，将无隐变量的无向图模型分类为线性指数族（LEFs）。
• 由于自然参数空间中存在非线性约束，将无隐变量的有向无环图模型与链图模型表示为曲指数族（CEFs）。
• 将含隐变量的图模型建模为分层指数族（SEFs），定义为满足前沿条件的 CEF 有限并集。
• 开发一种算法，计算由含隐变量的贝叶斯网络在可观测变量上所隐含的所有条件独立性与非独立性约束。
• 利用指数族的代数结构推导约束，而无需完整参数估计。
• 利用前沿条件确保 SEF 中 CEF 的并集是良定义且可识别的。

实验结果

研究问题

• RQ1 无向图模型如何在指数族框架下被正式分类？
• RQ2 无隐变量的有向图与链图模型的指数族结构是什么？
• RQ3 如何在指数族中代数化表示贝叶斯网络中隐变量的存在？
• RQ4 含潜变量的贝叶斯网络对可观测变量隐含哪些条件独立性与依赖性约束？
• RQ5 如何利用这些结构约束改进图模型中的模型选择？

主要发现

• 无隐变量的无向图模型是线性指数族（LEFs），其特征为自然参数上的线性约束。
• 无隐变量的有向无环图模型与链图模型是曲指数族（CEFs），因其在参数空间中存在非线性约束。
• 含隐变量的图模型是分层指数族（SEFs），定义为满足前沿条件的 CEF 有限并集。
• 开发了一种算法程序，可自动生成由含隐变量的贝叶斯网络在可观测变量上所诱导的所有条件独立性与依赖性约束。
• 推导出的约束在模型选择过程中至关重要，尤其在存在潜变量时可用于区分不同图模型。
• 该分类提供了一个统一的代数框架，用于理解各类图模型的统计与几何结构。