[论文解读] Learning Gaussian Networks

Dan Geiger, David Heckerman|arXiv (Cornell University)|Feb 27, 2013

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出了在多元正态分布假设下，针对连续变量的贝叶斯网络学习的评分度量与搜索方法。通过利用事件等价性与参数模块化，该方法能够从单一用户指定的贝叶斯网络推导出高斯网络的先验分布，将传统离散变量方法扩展至连续领域，实现基于原理的贝叶斯推断与结构学习。

ABSTRACT

We describe algorithms for learning Bayesian networks from a combination of user knowledge and statistical data. The algorithms have two components: a scoring metric and a search procedure. The scoring metric takes a network structure, statistical data, and a user's prior knowledge, and returns a score proportional to the posterior probability of the network structure given the data. The search procedure generates networks for evaluation by the scoring metric. Previous work has concentrated on metrics for domains containing only discrete variables, under the assumption that data represents a multinomial sample. In this paper, we extend this work, developing scoring metrics for domains containing all continuous variables or a mixture of discrete and continuous variables, under the assumption that continuous data is sampled from a multivariate normal distribution. Our work extends traditional statistical approaches for identifying vanishing regression coefficients in that we identify two important assumptions, called event equivalence and parameter modularity, that when combined allow the construction of prior distributions for multivariate normal parameters from a single prior Bayesian network specified by a user.

研究动机与目标

• 将贝叶斯网络结构学习从离散变量领域扩展至连续变量领域。
• 开发结合先验知识与多元正态数据的评分度量，用于高斯网络。
• 建立理论基础——事件等价性与参数模块化——以构建多元正态参数的先验分布。
• 通过基于原理的贝叶斯评分，实现在混合离散-连续领域中的高效结构搜索。
• 将传统基于回归的方法（用于识别消失系数）推广至完整的网络结构学习。

提出的方法

• 提出一种贝叶斯评分度量，用于在给定数据与先验知识的条件下计算网络结构的后验概率。
• 利用事件等价性与参数模块化，从单一用户指定的贝叶斯网络推导出多元正态参数的一致先验分布。
• 在连续变量假设下，使用多元正态似然函数对网络结构进行评分。
• 通过条件独立性约束与参数先验，将用户指定的先验网络整合至学习过程中。
• 采用一种搜索过程，利用所提出的评分度量评估候选网络，以识别高后验概率的结构。
• 通过参数约束识别条件独立关系，将经典基于回归的变量选择方法推广至完整的网络结构学习。

实验结果

研究问题

• RQ1 如何将贝叶斯网络结构学习扩展至仅包含连续变量的领域？
• RQ2 为确保高斯网络中多元正态参数的先验分布一致，需要哪些假设？
• RQ3 如何正式地将用户指定的先验知识整合到高斯网络的学习过程中？
• RQ4 事件等价性与参数模块化在何种方式下支持高斯网络结构的合理评分？
• RQ5 所提出的方法与传统基于回归的方法在识别连续数据中条件独立性方面有何比较？

主要发现

• 所提出的评分度量通过在多元正态性假设下计算网络结构的后验概率，实现了连续领域中的贝叶斯结构学习。
• 事件等价性与参数模块化使得能够从单一用户指定的贝叶斯网络推导出一致的多元正态参数先验分布。
• 该方法将传统用于识别消失回归系数的方法推广至完整的网络结构学习。
• 该框架通过一致处理变量类型，将评分度量扩展至混合离散-连续领域，支持此类领域的学习。
• 该方法提供了一种原理清晰、统一的高斯网络结构学习方法，整合了先验知识与统计数据。
• 理论基础确保评分度量在马尔可夫等价性下保持不变，支持稳健的结构学习。