[论文解读] Computing Posterior Probabilities of Structural Features in Bayesian Networks

Jin Tian, Ru He|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 26

一句话总结

本文提出了一种精确算法，用于在尊重马尔可夫等价性的通用结构先验下，计算贝叶斯网络中结构特征（如单个边或子网络）的后验概率。该算法在放松了以往方法中限制性强的非均匀结构先验的同时，仍保持有界入度假设，将单个子网络的计算时间复杂度降低至 O(3^n)，所有潜在边的总时间复杂度为 O(n3^n)，优于以往工作。

ABSTRACT

We study the problem of learning Bayesian network structures from data. Koivisto and Sood (2004) and Koivisto (2006) presented algorithms that can compute the exact marginal posterior probability of a subnetwork, e.g., a single edge, in O(n2n) time and the posterior probabilities for all n(n-1) potential edges in O(n2n) total time, assuming that the number of parents per node or the indegree is bounded by a constant. One main drawback of their algorithms is the requirement of a special structure prior that is non uniform and does not respect Markov equivalence. In this paper, we develop an algorithm that can compute the exact posterior probability of a subnetwork in O(3n) time and the posterior probabilities for all n(n-1) potential edges in O(n3n) total time. Our algorithm also assumes a bounded indegree but allows general structure priors. We demonstrate the applicability of the algorithm on several data sets with up to 20 variables.

研究动机与目标

• 解决现有算法在贝叶斯网络结构学习中依赖非均匀、非马尔可夫等价结构先验的局限性。
• 在通用结构先验下，开发一种精确算法，用于计算结构特征（如单个边或子网络）的后验概率。
• 通过假设有界入度，保持计算可行性，同时允许更灵活和现实的先验。
• 在包含最多 20 个变量的数据集上，验证该算法的实际可行性。

提出的方法

• 该算法通过在可能的网络结构空间上使用动态规划，计算结构特征的后验概率。
• 它基于节点排序和父节点集合对结构空间进行递归分解，通过包含所有有效父节点配置，实现高效计算。
• 该方法支持通用结构先验，包括均匀先验和非均匀先验，且不违反马尔可夫等价性。
• 它使用结构空间的紧凑表示，避免显式枚举所有可能的 DAG。
• 通过对其余网络结构的所有有效配置求和，计算每个潜在边的边缘后验概率。
• 时间复杂度在有界入度假设下，单个子网络为 O(3^n)，所有 n(n-1) 个潜在边的总时间为 O(n3^n)。

实验结果

研究问题

• RQ1 我们能否在尊重马尔可夫等价性的通用结构先验下，精确计算贝叶斯网络中结构特征的后验概率？
• RQ2 如何在保持先验指定灵活性的同时，降低精确后验计算的计算复杂度？
• RQ3 是否可能在不将先验限制为非均匀、非马尔可夫形式的前提下，实现边特定后验概率的高效计算？
• RQ4 在通用先验和有界入度假设下，计算所有潜在边后验概率的时间复杂度是多少？

主要发现

• 所提出的算法在 O(3^n) 时间内计算单个子网络的后验概率，优于以往方法的 O(n2^n) 时间复杂度。
• 计算所有 n(n-1) 个潜在边后验概率的总时间为 O(n3^n)，对于有界入度的中等规模网络而言是高效的。
• 该方法支持通用结构先验，包括均匀先验，且尊重马尔可夫等价性，而以往方法需依赖非均匀、非马尔可夫的先验。
• 在包含最多 20 个变量的数据集上的实证评估，证实了该算法的实际适用性和可扩展性。
• 该算法在不牺牲先验灵活性或计算可处理性的前提下，实现了对结构特征的精确推理。