[論文レビュー] Ordering-Based Search: A Simple and Effective Algorithm for Learning Bayesian Networks

Marc Teyssier, Daphne Koller|arXiv (Cornell University)|Jul 4, 2012

Bayesian Modeling and Causal Inference参考文献 20被引用数 180

ひとこと要約

この論文では、データからベイジアンネットワーク構造を学習するための単純で効果的なアルゴリズムであるOrdering-Based Search (OBS) を提案する。ネットワーク構造の広大な探索空間を探索するのではなく、OBSはノードの順序付けの空間を探索し、各順序付けに対して最適なネットワークを効率的に特定する。その結果、標準的なタブーリストを用いたグリーディーな勾配上昇法よりも収束が速く、性能が優れている一方で、複雑な代替手法に比べて実装がはるかに簡単である。

ABSTRACT

One of the basic tasks for Bayesian networks (BNs) is that of learning a network structure from data. The BN-learning problem is NP-hard, so the standard solution is heuristic search. Many approaches have been proposed for this task, but only a very small number outperform the baseline of greedy hill-climbing with tabu lists; moreover, many of the proposed algorithms are quite complex and hard to implement. In this paper, we propose a very simple and easy-to-implement method for addressing this task. Our approach is based on the well-known fact that the best network (of bounded in-degree) consistent with a given node ordering can be found very efficiently. We therefore propose a search not over the space of structures, but over the space of orderings, selecting for each ordering the best network consistent with it. This search space is much smaller, makes more global search steps, has a lower branching factor, and avoids costly acyclicity checks. We present results for this algorithm on both synthetic and real data sets, evaluating both the score of the network found and in the running time. We show that ordering-based search outperforms the standard baseline, and is competitive with recent algorithms that are much harder to implement.

研究の動機と目的

• NP困難なベイジアンネットワーク構造学習問題に、効果的で実装が容易な手法を提供すること。
• 探索空間をネットワーク構造からノードの順序付けに移行させることで計算複雑性を低減すること。
• 各順序付けに対して最適なネットワークが迅速に計算可能で、かつ常に非巡回であるという事実を活用して探索効率を向上させること。
• ベースラインのグリーディーな勾配上昇法にタブーリストを適用した手法よりも、スコアと実行時間の両面で優れた性能を達成すること。
• 性能を犠牲にすることなく、実装が難しい複雑な手法の強力な代替手段を提供すること。

提案手法

• アルゴリズムは、すべての可能なベイジアンネットワーク構造の探索ではなく、可能なノード順序付けの空間を探索する。
• 各候補となる順序付けに対して、動的計画法を用いてその順序付けと整合する最適なベイジアンネットワーク構造を計算する。
• 探索はグリーディーな勾配上昇戦略を用い、各ステップで最も良いスコアを達成する順序付けを選択する。
• すべての順序付けから導かれるネットワークが本質的に非巡回であるため、高価な非巡回性のチェックを回避できる。
• スコア関数（例：BIC や BDeu）を用いて、各順序付けに対して得られたネットワークの品質を評価する。
• 再び最近探索した順序付けを訪問しないようにするため、タブーリストを用いて探索の多様性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノード順序付けの探索は、従来の構造空間探索よりもベイジアンネットワークの学習で優れた性能を発揮できるか？
• RQ2 探索を順序付けに制限することで、標準的なタブーリスト付きグリーディーな勾配上昇法よりもスコアが良く、収束が速くなるか？
• RQ3 順序付けに基づく単純で効率的なアルゴリズムは、複雑で最先端の手法と同等の性能を達成できるか？
• RQ4 構造空間探索と順序付け空間探索の間で、分岐係数と探索空間のサイズはどのように比較できるか？
• RQ5 順序付けベースのアプローチは、高価な非巡回性チェックの必要性をどの程度回避できるか？

主な発見

• OBSは、合成データおよび実世界のデータセットの両方で、標準的なタブーリスト付きグリーディーな勾配上昇法よりもスコアと実行時間の両面で優れている。
• その単純さと低い実装コストにもかかわらず、より複雑なアルゴリズムと比較して競争力のあるスコアを達成している。
• 順序付けの探索空間は、すべての可能なベイジアンネットワーク構造の空間よりも顕著に小さいため、よりグローバルな探索ステップが可能になる。
• 順序付け空間における分岐係数は、構造空間よりも低いため、探索がより効率的になる。
• すべての順序付けから導かれるネットワークが本質的に非巡回であるため、高価な非巡回性チェックを回避できる。
• 実験結果から、OBSはベンチマークデータセットにおいて、ベースラインよりも高いBICスコアとより速い収束を達成していることが示された。