[论文解读] Improving the Scalability of Optimal Bayesian Network Learning with External-Memory Frontier Breadth-First Branch and Bound Search

Brandon Malone, Changhe Yuan+2 more|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用 9

一句话总结

本文提出了一种外部内存前沿广度优先分支定界（FBFB）搜索算法，以突破主内存限制，实现最优贝叶斯网络结构学习的可扩展性。通过仅将搜索图的两层存储在RAM中，并将其余部分存储在磁盘上，该方法显著提升了可扩展性，使用A*方法的现有最先进方法无法解决的更大规模问题也能被求解。

ABSTRACT

Previous work has shown that the problem of learning the optimal structure of a Bayesian network can be formulated as a shortest path finding problem in a graph and solved using A* search. In this paper, we improve the scalability of this approach by developing a memory-efficient heuristic search algorithm for learning the structure of a Bayesian network. Instead of using A*, we propose a frontier breadth-first branch and bound search that leverages the layered structure of the search graph of this problem so that no more than two layers of the graph, plus solution reconstruction information, need to be stored in memory at a time. To further improve scalability, the algorithm stores most of the graph in external memory, such as hard disk, when it does not fit in RAM. Experimental results show that the resulting algorithm solves significantly larger problems than the current state of the art.

研究动机与目标

• 解决由于高内存需求导致最优贝叶斯网络结构学习可扩展性受限的问题。
• 减少启发式搜索中贝叶斯网络结构学习的主内存使用。
• 通过将大部分搜索图卸载到外部内存，实现更大规模贝叶斯网络学习问题的求解。
• 在通过内存感知的搜索设计提升计算效率的同时，保持最优性。

提出的方法

• 提出一种利用贝叶斯网络搜索图分层结构的前沿广度优先分支定界（FBFB）搜索。
• 将主内存使用限制为仅两层图结构加上解重构数据。
• 当图超过RAM容量时，使用外部内存（如硬盘）存储大部分搜索图。
• 实现一种内存高效的遍历策略，优先处理前沿节点并剪枝次优路径。
• 集成启发式函数以引导搜索并早期剪枝次优分支。
• 通过仅维护当前层和前一层的路径信息，支持解的重构。

实验结果

研究问题

• RQ1 是否可以通过内存高效的搜索策略将最优贝叶斯网络结构学习扩展到主内存限制之外？
• RQ2 与A*方法相比，前沿广度优先分支定界在内存使用和可扩展性方面表现如何？
• RQ3 在不降低性能的前提下，外部内存能够用于存储多大比例的搜索图？
• RQ4 与现有最先进方法相比，该方法可实现的最大问题规模是多少？

主要发现

• 所提出的外部内存FBFB算法求解的贝叶斯网络结构学习问题规模显著大于当前最先进水平。
• 该方法将主内存使用减少至仅两层搜索图，实现了超越RAM限制的可扩展性。
• 通过将大部分图卸载到外部存储，该算法在保持最优性的同时提升了可扩展性。
• 实验结果表明，该方法可扩展至以往基于A*方法无法求解的问题实例。