[论文解读] Likelihoods and Parameter Priors for Bayesian Networks

David Heckerman, Dan Geiger|arXiv (Cornell University)|May 13, 2021

Bayesian Modeling and Causal Inference参考文献 17被引用 10

一句话总结

本文提出了一套原则性框架，利用似然等价性和参数独立性来构建贝叶斯网络中的似然函数和参数先验，实现了从数据和专家知识中高效学习。核心贡献是在这些假设下，将狄利克雷先验和正态-维施特分布先验表征为唯一解，为离散网络和高斯网络中的多元分布提供统一方法。

ABSTRACT

We develop simple methods for constructing likelihoods and parameter priors for learning about the parameters and structure of a Bayesian network. In particular, we introduce several assumptions that permit the construction of likelihoods and parameter priors for a large number of Bayesian-network structures from a small set of assessments. The most notable assumption is that of likelihood equivalence, which says that data can not help to discriminate network structures that encode the same assertions of conditional independence. We describe the constructions that follow from these assumptions, and also present a method for directly computing the marginal likelihood of a random sample with no missing observations. Also, we show how these assumptions lead to a general framework for characterizing parameter priors of multivariate distributions.

研究动机与目标

• 为大量贝叶斯网络结构开发分配似然函数和参数先验的实用方法。
• 通过利用结构假设，减少先验规范所需的直接评估数量。
• 为表征贝叶斯网络中多元分布的先验分布提供一个通用框架。
• 形式化参数先验在结构等价性和独立性假设下唯一确定的条件。

提出的方法

• 引入似然等价性，主张数据无法区分编码相同条件独立性断言的网络结构。
• 应用全局和局部参数独立性，推导控制先验分布的函数方程。
• 利用弧反转下的雅可比变换，关联等价结构间参数分布的关系。
• 利用所构建的先验，直接推导无缺失观测数据集的边际似然。
• 将函数方程的解表征为离散模型中的狄利克雷分布和高斯线性模型中的正态-维施特分布。
• 证明在似然等价性和参数独立性假设下，仅狄利克雷和正态-维施特分布等特定先验族满足约束条件。

实验结果

研究问题

• RQ1 如何在大量贝叶斯网络结构中一致地分配似然函数和参数先验，同时最小化直接评估？
• RQ2 哪些假设可导致对贝叶斯网络中多元分布先验分布的唯一表征？
• RQ3 似然等价性如何约束离散和高斯网络中参数先验的形式？
• RQ4 将似然等价性与参数独立性结合时，会产生哪些函数方程，其解是什么？
• RQ5 是否可以放宽似然等价性和参数独立性的假设，而不破坏先验表征的有效性？

主要发现

• 在似然等价性和参数独立性假设下，狄利克雷分布是离散贝叶斯网络中先验分布的唯一解。
• 对于线性高斯网络，在相同假设下，正态-维施特分布是唯一解，且联合参数具有二元正态-维施特先验。
• 由弧反转和雅可比变换导出的函数方程仅对特定先验族有解，证实了其唯一性。
• 无缺失观测数据集的边际似然可直接从先验和似然结构计算，无需完整积分。
• 这些假设在离散情况下隐含所有变量具有单一有效样本量，在高斯情况下为两个，这可能在现实应用中限制现实性。