[論文レビュー] A simple approach for finding the globally optimal Bayesian network structure

Tomi Silander, Petri Myllymäki|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用数 286

ひとこと要約

本稿では、BIC や BDe などの分解可能スコアを用いた、グローバル最適なベイジアンネットワーク構造学習のための新規で効率的なアルゴリズムを提示する。動的計画法と枝刈り技術を活用することで、30個以上の変数まで正確な探索のスケーラビリティを達成し、従来の手法を上回る速度と単純さを実現するとともに、並列処理と複数の変数順序の探索を可能にする。

ABSTRACT

We study the problem of learning the best Bayesian network structure with respect to a decomposable score such as BDe, BIC or AIC. This problem is known to be NP-hard, which means that solving it becomes quickly infeasible as the number of variables increases. Nevertheless, in this paper we show that it is possible to learn the best Bayesian network structure with over 30 variables, which covers many practically interesting cases. Our algorithm is less complicated and more efficient than the techniques presented earlier. It can be easily parallelized, and offers a possibility for efficient exploration of the best networks consistent with different variable orderings. In the experimental part of the paper we compare the performance of the algorithm to the previous state-of-the-art algorithm. Free source-code and an online-demo can be found at http://b-course.hiit.fi/bene.

研究の動機と目的

• BIC や BDe などの分解可能スコアを用いた、グローバル最適なベイジアンネットワーク構造を求めるNP困難な課題に取り組む。
• 10～15個以上の変数を有する中規模～大規模なネットワークでは、正確な構造学習が計算的に非現実的であるという課題を克服する。
• 既存の手法よりも単純かつ効率的な手法を開発し、実世界の応用に向けた実用的な正確な学習を可能にする。
• 異なる変数順序における最良のネットワークの探索を効率的に行い、モデル選択の耐性を高める。
• 現代のコンピューティングアーキテクチャに適したスケーラビリティとパフォーマンス向上を実現するため、探索プロセスの並列化を可能にする。

提案手法

• 各変数の可能なすべての親集合を、分解可能スコアに従って体系的に探索するための動的計画法を適用する。
• 最適でない親集合を探索の初期段階で早期に除外するための枝刈り技術を用い、最適性を損なわずに探索空間を削減する。
• 変数順序に基づいてアルゴリズムを構造化し、複数の順序を並列に効率的に探索可能にする。
• BIC や BDe のようなスコアの分解可能性を活用して、局所スコアを段階的に計算し、全体のスコアに統合する。
• 親を持たない変数から始まり、下位から上位に最適なネットワークを構築する再帰的探索戦略を採用する。
• 異なる変数順序や部分的構成ごとに探索を独立させることで、並列処理が容易になるようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 30個以上の変数を有するネットワークに対し、単純で効率的なアルゴリズムがグローバル最適なベイジアンネットワーク構造学習を達成できるか？
• RQ2 本手法は、正確な構造学習の分野における従来の最先端手法と比較して、性能とスケーラビリティでどのように優れているか？
• RQ3 枝刈りと動的計画法を用いることで、最適性を損なわずに探索空間をどの程度削減できるか？
• RQ4 計算を複数のプロセッサやマシンで高速化するために、アルゴリズムを効果的に並列化できるか？
• RQ5 変数順序の選択が、学習された構造の品質と効率にどのように影響するか。また、複数の順序を効率的に探索できるか？

主な発見

• 提案手法は、30個以上の変数を有するデータセットに対しても、グローバル最適なベイジアンネットワーク構造を学習することに成功した。これは、従来の手法では不可能であった。
• 本手法は、速度とメモリ効率の両面で、従来の最先端手法を上回り、より大きなネットワークにおける正確な学習を可能にした。
• 枝刈りと動的計画法の活用により、探索空間が顕著に縮小され、実用的な問題サイズにおいて正確な学習が現実可能となった。
• アルゴリズムは容易に並列化可能であり、分散環境における複数の変数順序の効率的探索を可能にした。
• 異なるデータセットにおいて高い正確性と一貫性を示し、選択したスコアのもとでグローバル最適であることが確認された。
• 自由に利用可能なソースコードとオンラインデモが公開されており、研究および応用分野における再現性と広範な採用を促進している。