[论文解读] How long, O Bayesian network, will I sample thee? : A program analysis perspective on expected sampling times

Kevin Batz, Benjamin Lucien Kaminski+2 more|arXiv (Cornell University)|Jan 1, 2018

Bayesian Modeling and Causal Inference参考文献 46被引用 4

一句话总结

本文提出了一种完全自动化的、基于程序分析的方法，通过将贝叶斯网络（BNs）转换为概率程序片段并应用最弱前置条件风格的推理，精确计算在拒绝采样下贝叶斯网络的期望采样时间（EST）。该方法实现了对采样效率的精确、闭式估计，揭示了某些情况下EST超过10^18，导致采样不可行，凸显了采用精确推理的必要性。

ABSTRACT

Bayesian networks (BNs) are probabilistic graphical models for describing complex joint probability distributions. The main problem for BNs is inference: Determine the probability of an event given observed evidence. Since exact inference is often infeasible for large BNs, popular approximate inference methods rely on sampling. We study the problem of determining the expected time to obtain a single valid sample from a BN. To this end, we translate the BN together with observations into a probabilistic program. We provide proof rules that yield the exact expected runtime of this program in a fully automated fashion. We implemented our approach and successfully analyzed various real-world BNs taken from the Bayesian network repository.

研究动机与目标

• 为解决在拒绝采样下贝叶斯网络中期望采样时间估计的严峻挑战，尤其针对条件不良的证据导致采样时间过长的问题。
• 开发一种完全自动化的技术，无需用户提供的不变式、鞅或启发式方法，精确计算期望采样时间。
• 实现在采样推理因期望采样时间过高而不可行时，提前检测出相关贝叶斯网络。
• 为从贝叶斯网络导出的概率程序的期望运行时间提供一个形式化且可验证的推理框架。

提出的方法

• 将带有观测证据的贝叶斯网络转换为概率程序的语法片段（BNL），并保留条件概率表作为程序构造。
• 应用最弱前置条件（wp）演算和期望运行时间（ERT）的证明规则，推导出期望采样时间的闭式表达式。
• 通过概率控制结构（如条件语句和循环）向后传播期望值，以组合式方式计算精确的ERT。
• 利用形式化运行时模型，将保护条件评估和随机赋值视为计算步骤。
• 在Java原型中实现该方法，支持解析贝叶斯网络交换格式（BIF）中的BNs，并使用推导出的证明规则计算EST。
• 通过符号运算处理指数级最坏情况复杂度，但在复杂BNs中因期望值大小爆炸而面临内存限制。

实验结果

研究问题

• RQ1 在拒绝采样下，从贝叶斯网络中获取单个有效样本所需的精确期望时间是多少？
• RQ2 我们能否在不依赖用户提供的不变式或辅助证明构造的情况下，自动计算该期望采样时间？
• RQ3 在真实世界的贝叶斯网络中，期望采样时间如何变化？它们在何时变得计算上不可行？
• RQ4 我们能否使用程序分析技术，形式化验证并量化贝叶斯网络中基于采样的推理性能？

主要发现

• 对于参数a的简单BN，当a > 0.95时，期望采样时间迅速增长至约300次采样，表明对证据条件高度敏感。
• 在贝叶斯网络仓库中的真实世界BN中，发现期望采样时间超过10^18，导致基于采样的推理不可行。
• 对于包含17个观测值的win95pts BN，EST为1.11×10^15，对应于真实机器上约3.6年的期望运行时间，而精确推理几乎瞬间完成。
• 在一项包含13个观测节点的案例中，工具在0.32秒内计算出对应约430万年时间的EST，凸显了该方法的高效性与实际应用价值。
• 该原型成功计算出包含最多1041个节点的BN的精确期望采样时间，尽管存在指数级最坏情况复杂度，仍展现出良好的可扩展性。
• 该方法揭示，即使中等复杂度的BN，其期望采样时间也可能大到使精确推理成为更可行的选择。