[論文レビュー] Computing Posterior Probabilities of Structural Features in Bayesian Networks

Jin Tian, Ru He|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 26

ひとこと要約

この論文は、マークフ・同値性を尊重する一般化された構造事前分布を用いて、ベイジアンネットワークにおける構造的特徴（個々のエッジや部分ネットワークなど）の事後確率を正確に計算するアルゴリズムを提示する。単一の部分ネットワークに対しては O(3^n) の時間計算量を達成し、すべての潜在的エッジに対しては O(n3^n) の総時間計算量を達成しており、従来の非一様で制限的な構造事前分布を緩和しながらも、有界なインデグリの仮定を維持することで、先行研究を改善している。

ABSTRACT

We study the problem of learning Bayesian network structures from data. Koivisto and Sood (2004) and Koivisto (2006) presented algorithms that can compute the exact marginal posterior probability of a subnetwork, e.g., a single edge, in O(n2n) time and the posterior probabilities for all n(n-1) potential edges in O(n2n) total time, assuming that the number of parents per node or the indegree is bounded by a constant. One main drawback of their algorithms is the requirement of a special structure prior that is non uniform and does not respect Markov equivalence. In this paper, we develop an algorithm that can compute the exact posterior probability of a subnetwork in O(3n) time and the posterior probabilities for all n(n-1) potential edges in O(n3n) total time. Our algorithm also assumes a bounded indegree but allows general structure priors. We demonstrate the applicability of the algorithm on several data sets with up to 20 variables.

研究の動機と目的

• ベイジアンネットワーク構造学習における、非一様でマークフ・同値性を満たさない構造事前分布に依存する既存のアルゴリズムの制限を解消すること。
• 一般化された構造事前分布の下で、個々のエッジや部分ネットワークなどの構造的特徴の事後確率を正確に計算するアルゴリズムを開発すること。
• より柔軟で現実的であるが、有界なインデグリの仮定を維持することで、計算の実行可能性を保つこと。
• 最大20変数のデータセットに対して、アルゴリズムの実用性を示すこと。

提案手法

• 動的計画法を用いて、可能なネットワーク構造の空間全体に対して構造的特徴の事後確率を計算する。
• ノードの順序付けと親集合に基づく構造空間の再帰的分解を活用し、すべての有効な親構成を含めることで、効率的な計算を実現する。
• 非一様事前分布を含む一般化された構造事前分布をサポートし、マークフ・同値性を損なわない。
• すべての可能なDAGを明示的に列挙するのを避けるために、構造空間のコンパクトな表現を用いる。
• 残りのネットワーク構造のすべての有効な構成について和を取ることで、各潜在的エッジの周辺事後確率を計算する。
• 有界なインデグリの下では、単一の部分ネットワークに対しては時間計算量が O(3^n)、すべての n(n-1) 個の潜在的エッジに対しては O(n3^n) である。

実験結果

リサーチクエスチョン

• RQ1 マークフ・同値性を尊重する一般化された構造事前分布の下で、ベイジアンネットワークにおける構造的特徴の正確な事後確率を計算することは可能か？
• RQ2 事前分布の指定における柔軟性を維持しつつ、正確な事後確率計算の計算量を低減することは可能か？
• RQ3 非一様でマークフ・同値性を満たさない形に制限しないで、エッジ固有の事後確率を効率的に計算することは可能か？
• RQ4 一般化された事前分布と有界なインデグリの下で、すべての潜在的エッジの事後確率を計算する時間計算量はどのようになるか？

主な発見

• 提案されたアルゴリズムは、単一の部分ネットワークの事後確率を O(3^n) 時間で計算でき、従来の O(n2^n) の境界を改善している。
• すべての n(n-1) 個の潜在的エッジの事後確率を計算する総時間は O(n3^n) であり、有界なインデグリを持つ中程度のサイズのネットワークに対しては効率的である。
• この手法は、一様事前分布を含む一般化された構造事前分布をサポートしており、マークフ・同値性を尊重するが、従来の手法とは異なり非一様でマークフ・同値性を満たさない事前分布を必要としていない。
• 最大20変数のデータセットを用いた実験的評価により、アルゴリズムの実用的適用性とスケーラビリティが確認された。
• アルゴリズムは、事前分布の柔軟性や計算の実行可能性を犠牲にすることなく、構造的特徴に対する正確な推論を可能にしている。