[论文解读] Efficient Sampling and Structure Learning of Bayesian Networks

Jack Kuipers, Polina Suter+1 more|arXiv (Cornell University)|Mar 21, 2018

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出了一种混合MCMC方法，用于高效学习贝叶斯网络结构，该方法结合了基于约束的过滤与基于查表的快速MCMC采样。通过利用父节点集合的偏序集结构及递归向量聚合，该方法将得分计算复杂度降低至O(max{KN, 3^K})（针对分类数据），从而实现了更大规模网络上的可扩展后验采样与完整的贝叶斯模型平均，这是以往难以实现的。

ABSTRACT

Bayesian networks are probabilistic graphical models widely employed to understand dependencies in high dimensional data, and even to facilitate causal discovery. Learning the underlying network structure, which is encoded as a directed acyclic graph (DAG) is highly challenging mainly due to the vast number of possible networks in combination with the acyclicity constraint. Efforts have focussed on two fronts: constraint-based methods that perform conditional independence tests to exclude edges and score and search approaches which explore the DAG space with greedy or MCMC schemes. Here we synthesise these two fields in a novel hybrid method which reduces the complexity of MCMC approaches to that of a constraint-based method. Individual steps in the MCMC scheme only require simple table lookups so that very long chains can be efficiently obtained. Furthermore, the scheme includes an iterative procedure to correct for errors from the conditional independence tests. The algorithm offers markedly superior performance to alternatives, particularly because DAGs can also be sampled from the posterior distribution, enabling full Bayesian model averaging for much larger Bayesian networks.

研究动机与目标

• 为解决由于DAG数量超指数增长及无环性约束导致的贝叶斯网络结构学习计算不可行性问题。
• 在保留基于后验采样的完整贝叶斯推断的同时，将基于MCMC的结构学习复杂度降低至与基于约束的方法相当的水平。
• 实现对DAG的高效后验采样，以支持模型平均，尤其适用于高维连续与分类数据。
• 通过MCMC方案中的迭代精炼过程，纠正条件独立性检验中的错误。

提出的方法

• 该方法利用父节点集合的偏序集结构（从完整集合到空集），通过递归向量聚合，高效计算所有可能父节点配置的BDe得分。
• 通过二进制索引映射父节点状态（公式31），在O(KN)时间内计算每个节点-父节点配置的充分统计量（计数向量）。
• 通过自上而下（从完整父节点集合到空集）的层序递归组合计数向量（公式32）计算得分值，实现O(3^K)的复杂度，而非O(K4^K)。
• MCMC采样器仅通过查表即可计算得分差值，在DAG空间中执行局部移动，从而能够高效生成极长的马尔可夫链。
• 通过迭代修正过程对初始骨架进行精炼，提升在检验错误存在情况下的准确性。
• 该方法支持MAP结构发现与完整后验采样，实现了对更大规模网络的贝叶斯模型平均。

实验结果

研究问题

• RQ1 基于MCMC的贝叶斯网络结构学习能否在不牺牲后验采样能力的前提下，实现与基于约束方法相当的效率？
• RQ2 能否利用父节点集合偏序集的结构特性，将所有父节点集合得分计算的复杂度从O(K4^K)降低至O(3^K)？
• RQ3 在高维设置下，对条件独立性检验错误的迭代修正是否能提升结构学习的准确性？
• RQ4 能否在比以往更大型的网络上，实现对DAG的高效后验采样？

主要发现

• 所提出的方法将分类数据的得分计算复杂度从O(K4^K)降低至O(max{KN, 3^K})，在高K设置下实现了显著改进。
• 对于使用BGe得分的连续数据，该方法实现了高效的MCMC采样，使得在更大规模网络上实现完整的贝叶斯模型平均成为可能。
• 在基准数据集上，该算法的MAP结构发现耗时150秒，采样耗时30秒，展示了实际可扩展性。
• 迭代修正过程有效缓解了条件独立性检验错误的影响，提升了结构准确性。
• 通过公式(32)的递归向量聚合，实现了对所有父节点集合配置的高效得分计算，且内存开销极低。