[论文解读] Bayesian Error-Bars for Belief Net Inference

Tim Van Allen, Russell Greiner+1 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用 18

一句话总结

本文提出了一种方法，通过将参数不确定性建模为随机变量，来计算贝叶斯网络中概率查询的贝叶斯误差带。它推导了查询响应方差的渐近正态性，并提出了一种时间复杂度为 O(n 2^w) 的高效算法，以与均值推理相同的复杂度计算这些误差带，且在小样本上通过实证验证。

ABSTRACT

A Bayesian Belief Network (BN) is a model of a joint distribution over a setof n variables, with a DAG structure to represent the immediate dependenciesbetween the variables, and a set of parameters (aka CPTables) to represent thelocal conditional probabilities of a node, given each assignment to itsparents. In many situations, these parameters are themselves random variables - this may reflect the uncertainty of the domain expert, or may come from atraining sample used to estimate the parameter values. The distribution overthese "CPtable variables" induces a distribution over the response the BNwill return to any "What is Pr(H | E)?" query. This paper investigates thevariance of this response, showing first that it is asymptotically normal,then providing its mean and asymptotical variance. We then present aneffective general algorithm for computing this variance, which has the samecomplexity as simply computing the (mean value of) the response itself - ie,O(n 2^w), where n is the number of variables and w is the effective treewidth. Finally, we provide empirical evidence that this algorithm, whichincorporates assumptions and approximations, works effectively in practice,given only small samples.

研究动机与目标

• 量化由于 CP 表参数不确定而引起的贝叶斯网络中概率查询的不确定性。
• 当将 CP 表参数视为随机变量时，建模查询响应的分布。
• 推导 Pr(H|E) 查询响应方差的渐近分布。
• 开发一种计算误差带的高效算法，其复杂度与均值推理相同。
• 通过小训练样本的实证证据验证该方法的有效性。

提出的方法

• 将 CP 表参数视为随机变量，以表示来自专家估计或小训练样本的认知不确定性。
• 在参数不确定性的假设下，推导任意 Pr(H|E) 查询响应分布的渐近正态性。
• 使用影响图和路径追踪分析来计算查询响应的渐近方差。
• 应用一种通用算法，在 O(n 2^w) 时间内计算方差，其复杂度与均值推理相同。
• 在算法中采用近似和假设，以在保持准确性的前提下确保实用性。
• 通过小数据集上的实证评估验证该方法，结果表明误差带估计具有可靠性。

实验结果

研究问题

• RQ1 当 CP 表参数不确定时，贝叶斯网络查询响应的方差行为如何？
• RQ2 是否可以高效计算响应方差，而不会带来显著的计算开销？
• RQ3 在参数不确定性的条件下，查询响应的分布是否渐近正态？
• RQ4 当仅有少量训练样本时，计算出的误差带有多准确？
• RQ5 所提出的算法是否能在保持实际效率的同时，捕捉到推理中的有意义不确定性？

主要发现

• 在参数不确定性的假设下，任意 Pr(H|E) 查询的响应方差渐近正态。
• 可以使用影响图技术，解析地推导出查询响应的均值和渐近方差。
• 所提出的算法在 O(n 2^w) 时间内计算误差带，其复杂度与标准信念传播相同。
• 实证结果表明，即使在小训练样本下，该方法也能产生可靠的误差带。
• 该算法有效结合了近似和假设，而未牺牲实际准确性。
• 该方法以极低的计算成本，实现了信念网络推理中的不确定性量化。