[论文解读] Advances in exact Bayesian structure discovery in Bayesian networks

Mikko Koivisto|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 7被引用 17

一句话总结

本文提出了一种新颖的算法，能够在 O(n 2^n) 的总时间内计算贝叶斯网络结构中所有潜在边的后验概率，相较于先前的方法实现了显著的 O(n²) 速度提升。通过利用前向-后向技术与快速 Möbius 变换算法，该方法实现了高效的精确贝叶斯结构发现，使得对包含最多 25 个属性和 10,000 条记录的中等规模网络进行实验研究成为可能。

ABSTRACT

We consider a Bayesian method for learning the Bayesian network structure from complete data. Recently, Koivisto and Sood (2004) presented an algorithm that for any single edge computes its marginal posterior probability in O(n 2^n) time, where n is the number of attributes; the number of parents per attribute is bounded by a constant. In this paper we show that the posterior probabilities for all the n (n - 1) potential edges can be computed in O(n 2^n) total time. This result is achieved by a forward-backward technique and fast Moebius transform algorithms, which are of independent interest. The resulting speedup by a factor of about n^2 allows us to experimentally study the statistical power of learning moderate-size networks. We report results from a simulation study that covers data sets with 20 to 10,000 records over 5 to 25 discrete attributes

研究动机与目标

• 实现完全数据下贝叶斯网络中高效精确的贝叶斯结构学习。
• 克服为每个潜在边单独计算边后验概率所带来的计算瓶颈。
• 将具有有界父节点规模的网络中所有边后验概率的计算时间复杂度从 O(n² 2^n) 降低至 O(n 2^n)。
• 支持对中等规模网络（5–25 个属性）在真实数据规模（20–10,000 条记录）下的统计功效的实证分析。

提出的方法

• 采用前向-后向技术，在网络结构中传播局部边概率。
• 利用快速 Möbius 变换算法，高效计算所有可能边配置的边缘后验概率。
• 引入一种动态规划方法，重用边之间的中间计算结果，避免重复计算。
• 基于每个节点的父节点数量被常数所限制的假设，确保方法的可扩展性。
• 基于结构的联合后验分布，高效计算特定边的后验概率。
• 通过利用结构空间的稀疏性以及条件独立性的模块化特性，优化计算过程。

实验结果

研究问题

• RQ1 是否能够以显著低于 O(n² 2^n) 的时间完成贝叶斯网络中所有边后验概率的计算？
• RQ2 是否可能在 O(n 2^n) 的总时间内计算出贝叶斯网络中每个潜在边的后验概率？
• RQ3 所提出的方法在实际中对具有 5 到 25 个离散属性以及不同规模数据集的网络的可扩展性如何？
• RQ4 在真实数据条件下，精确贝叶斯结构发现对中等规模网络的统计功效如何？
• RQ5 使用快速 Möbius 变换与前向-后向传播是否能带来结构学习的实际性能提升？

主要发现

• 所提出的算法在 O(n 2^n) 的总时间内计算出所有 n(n−1) 个潜在边的后验概率，相较于先前方法实现了约 n² 倍的速度提升。
• 该方法使得对包含最多 25 个属性和 10,000 条数据记录的贝叶斯结构发现进行实验研究成为可能。
• 利用快速 Möbius 变换与前向-后向传播，可高效复用边之间的中间计算结果。
• 该算法的高效性支持对中等规模网络中统计功效的分析，揭示了在不同数据条件下结构恢复的内在规律。
• 实现结果表明，精确贝叶斯结构学习在实际中可行，可突破以往因计算成本过高而仅限于小规模网络的局限。
• 模拟研究结果证实，即使在中等规模数据下，精确贝叶斯方法也能可靠地恢复真实网络结构。