[論文レビュー] Improving the Scalability of Optimal Bayesian Network Learning with External-Memory Frontier Breadth-First Branch and Bound Search

Brandon Malone, Changhe Yuan+2 more|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 9

ひとこと要約

本稿では、最適なベイジアンネットワーク構造学習をメインメモリの制限を超えてスケーリングするため、外部メモリを活用するフロントイェル幅優先分岐限定（FBFB）探索アルゴリズムを提案する。探索グラフの2層のみをRAMに保持し、残りはディスクベースのストレージに格納することで、スケーラビリティが著しく向上し、A*に基づく手法に比べてより大きな問題を解けるようになる。

ABSTRACT

Previous work has shown that the problem of learning the optimal structure of a Bayesian network can be formulated as a shortest path finding problem in a graph and solved using A* search. In this paper, we improve the scalability of this approach by developing a memory-efficient heuristic search algorithm for learning the structure of a Bayesian network. Instead of using A*, we propose a frontier breadth-first branch and bound search that leverages the layered structure of the search graph of this problem so that no more than two layers of the graph, plus solution reconstruction information, need to be stored in memory at a time. To further improve scalability, the algorithm stores most of the graph in external memory, such as hard disk, when it does not fit in RAM. Experimental results show that the resulting algorithm solves significantly larger problems than the current state of the art.

研究の動機と目的

• 高コストなメモリ要件による最適なベイジアンネットワーク構造学習のスケーラビリティ制限を克服すること。
• ベイジアンネットワーク構造学習のヒューリスティック探索におけるメインメモリ使用量を削減すること。
• 探索グラフの大部分を外部メモリにオフロードすることで、より大きなベイジアンネットワーク構造学習問題を解けるようにすること。
• メモリに配慮した探索設計により、最適性を保ちながら計算効率を向上させること。

提案手法

• ベイジアンネットワーク探索グラフの階層的構造を活用するフロントイェル幅優先分岐限定（FBFB）探索を提案する。
• 任意の時点で、メインメモリ使用量をグラフの2層と解の再構築に必要なデータに限定する。
• RAM容量を超えた場合、探索グラフの大部分を外部メモリ（例：ハードディスク）に格納する。
• フロントイェルノードを優先し、非効率な経路をプルーニングするメモリ効率の良い走査戦略を実装する。
• 探索を誘導し、非最適な分岐を早期にバウンディングするためのヒューリスティック関数を統合する。
• 現在層と直前の層のパス情報をのみ保持することで、解の再構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 メモリ効率の良い探索戦略により、最適なベイジアンネットワーク構造学習をメインメモリの制限を超えてスケーリングできるか？
• RQ2 FBFBはA*と比較して、メモリ使用量とスケーラビリティにおいてどのように異なるか？
• RQ3 性能の劣化を招かずに、外部メモリをどれほど多く活用して探索グラフの大半を格納できるか？
• RQ4 本手法により、既存の最先端手法と比較して、最大でどの程度の問題サイズを解けるか？

主な発見

• 提案された外部メモリFBFBアルゴリズムは、現在の最先端手法よりもはるかに大きなベイジアンネットワーク構造学習問題を解ける。
• 本手法はメインメモリ使用量を探索グラフの2層にまで削減し、RAM制限を超えたスケーリングを可能にする。
• グラフの大半を外部ストレージにオフロードすることで、最適性を維持しながらスケーラビリティを向上させる。
• 実験結果から、A*に基づく手法では以前は不可能とされていた問題インスタンスに対しても、本手法がスケーリング可能であることが示された。