[論文レビュー] Advances in exact Bayesian structure discovery in Bayesian networks

Mikko Koivisto|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 7被引用数 17

ひとこと要約

この論文では、ベイジアンネットワーク構造におけるすべての潜在的エッジの事後確率を、合計時間O(n 2^n)で計算する新しいアルゴリズムを提示している。従来の方法と比較して、O(n²)の大幅な高速化を達成している。前向き・後向き手法と高速M"obius変換アルゴリズムを活用することで、正確なベイジアン構造同定が効率的に行えるようになり、最大25属性および10,000件のデータを有する中規模ネットワークの実験的分析が可能になった。

ABSTRACT

We consider a Bayesian method for learning the Bayesian network structure from complete data. Recently, Koivisto and Sood (2004) presented an algorithm that for any single edge computes its marginal posterior probability in O(n 2^n) time, where n is the number of attributes; the number of parents per attribute is bounded by a constant. In this paper we show that the posterior probabilities for all the n (n - 1) potential edges can be computed in O(n 2^n) total time. This result is achieved by a forward-backward technique and fast Moebius transform algorithms, which are of independent interest. The resulting speedup by a factor of about n^2 allows us to experimentally study the statistical power of learning moderate-size networks. We report results from a simulation study that covers data sets with 20 to 10,000 records over 5 to 25 discrete attributes

研究の動機と目的

• 完全なデータを前提としたベイジアンネットワークにおける効率的な正確な構造学習を可能にすること。
• 各潜在的エッジごとに個別にエッジ事後確率を計算する際の計算ボトルネックを克服すること。
• 親ノード数が定数で有界なネットワークにおいて、すべてのエッジ事後確率の計算時間計算量をO(n² 2^n)からO(n 2^n)に低減すること。
• 中規模ネットワーク（5〜25属性）および現実的なデータサイズ（20〜10,000件）における統計的パワーの実証的分析を支援すること。

提案手法

• ネットワーク構造全体にわたり、局所的エッジ確率を伝搬するための前向き・後向き手法を採用する。
• すべての可能なエッジ構成に関する周辺事後確率を効率的に計算するため、高速M"obius変換アルゴリズムを活用する。
• 中間計算をエッジ間で再利用する動的計画法を導入し、重複作業を回避する。
• ノードごとの親ノード数が定数で有界であるという仮定に基づき、スケーラビリティを確保する。
• 構造全体の事後分布を基に、エッジ固有の事後確率を効率的に計算する。
• 構造空間のスパarsityと条件付き独立性のモジュラリティを活用して計算を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークにおけるすべてのエッジ事後確率の計算を、O(n² 2^n)よりも著しく少ない時間で行うことは可能か？
• RQ2 ベイジアンネットワークにおけるすべての潜在的エッジの事後確率を、合計時間O(n 2^n)で計算することは可能か？
• RQ3 本手法は、5〜25個の離散的属性およびさまざまなサイズのデータセットを有するネットワークにおいて、実際のスケーリング性能をどのように示すか？
• RQ4 現実的なデータ条件下で、中規模ネットワークにおける正確なベイジアン構造同定の統計的パワーはいかほどか？
• RQ5 高速M"obius変換と前向き・後向き伝搬の使用は、構造学習における実用的改善をもたらすか？

主な発見

• 提案手法は、n(n−1)個の潜在的エッジすべての事後確率をO(n 2^n)の合計時間で計算でき、従来手法と比較して約n²倍の高速化を達成した。
• 本手法により、最大25属性および10,000件のデータレコードを有するネットワークにおけるベイジアン構造同定の実験的分析が可能になった。
• 高速M"obius変換と前向き・後向き伝搬の使用により、エッジ間で中間計算を効果的に再利用できるようになった。
• アルゴリズムの効率性により、中規模ネットワークにおける統計的パワーの分析が可能となり、さまざまなデータ条件下での構造回復に関する洞察が得られた。
• 実装は、従来の計算コストの高さにより小規模ネットワークに限られていた正確なベイジアン構造学習の実用的実現可能性を示した。
• シミュレーション研究の結果、正確なベイジアン手法が、中程度のデータサイズでも真のネットワーク構造を信頼性高く回復できることを確認した。