[论文解读] Kullback Leibler Divergence for Bayesian Networks with Complex Mean Structure

Jessica Kasza, Patricia Solomon|arXiv (Cornell University)|Sep 8, 2010

Bayesian Modeling and Causal Inference参考文献 12被引用 2

一句话总结

本文比较了在存在外生变量和随机效应的贝叶斯网络估计中，完全贝叶斯方法与残差方法的性能。通过使用Kullback-Leibler散度衡量后验分布的差异，结果表明当外生变量并非主要关注对象时，残差方法更为简单，且信息损失最小。

ABSTRACT

In this paper, we compare the performance of two methods for estimating Bayesian networks from data containing exogenous variables and random effects. The first method is fully Bayesian in which a prior distribution is placed on the exogenous variables, whereas the second method, which we call the residual approach, accounts for the effects of exogenous variables by using the notion of restricted maximum likelihood. We review the two score-based metrics, then study their performance by measuring the Kullback Leibler divergence, or distance, between the two resulting posterior density functions. The Kullback Leibler divergence provides a natural framework for comparing distributions. The residual approach is considerably simpler to apply in practice and we demonstrate its utility both theoretically and via simulations. In particular, in applications where the exogenous variables are not of primary interest, we show that the potential loss of information about parameters and induced components of correlation, is generally small.

研究动机与目标

• 评估并比较包含外生变量和随机效应的贝叶斯网络估计方法。
• 评估忽略外生变量参数对网络结构和相关分量的影响。
• 确定基于限制性最大似然的残差方法是否与完全贝叶斯方法表现相当。
• 为在不以外生变量为主要关注对象时实际应用残差方法提供理论与实证依据。

提出的方法

• 通过在外生变量上设定先验分布，采用完全贝叶斯框架来估计网络参数。
• 采用残差方法，利用限制性最大似然法来考虑外生变量的影响，而不将其建模为随机变量。
• 使用基于评分的指标评估网络结构和参数估计性能。
• 通过计算两种方法后验分布之间的Kullback-Leibler散度来量化差异。
• 在正态分布和随机效应假设下，推导残差方法的理论性质。
• 通过模拟实验，在多种网络结构和数据配置下比较两种方法。

实验结果

研究问题

• RQ1 在估计贝叶斯网络结构方面，残差方法与完全贝叶斯方法相比表现如何？
• RQ2 通过限制性最大似然法将外生变量视为固定效应，与为其分配先验分布相比，其影响是什么？
• RQ3 与完全贝叶斯方法相比，使用残差方法在参数估计和相关结构方面损失了多少信息？
• RQ4 在何种条件下，残差方法是完全贝叶斯估计的合理且实用的替代方案？

主要发现

• 残差方法得到的后验分布与完全贝叶斯方法的后验分布接近，这一结果通过Kullback-Leibler散度衡量。
• 残差方法在实现上显著更简单，且计算效率远高于完全贝叶斯方法。
• 当外生变量非主要关注对象时，参数估计和相关结构中的信息损失通常较小。
• 理论分析支持在正态分布假设和随机效应结构下，残差方法的有效性。
• 模拟结果证实，残差方法在网络结构恢复和参数准确性方面均保持良好性能。
• Kullback-Leibler散度为比较两种后验分布及评估方法论权衡提供了可靠指标。