[論文レビュー] The Bayesian Structural EM Algorithm

Nir Friedman|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 22被引用数 516

ひとこと要約

この論文は、欠損データからベイジアンネットワーク構造を学習するための、ベイジアンモデル選択と構造的EMフレームワークを統合した新規手法、ベイジアン構造的EMアルゴリズムを提案する。期待最大化法によるパrameter推定とベイジアンスコアを用いたスコアベースの構造探索を組み合わせることで、収束性を保証し、欠損値や隠れ変数が存在する場合でも効果的な確率的モデルの学習を可能にする。

ABSTRACT

In recent years there has been a flurry of works on learning Bayesian networks from data. One of the hard problems in this area is how to effectively learn the structure of a belief network from incomplete data- that is, in the presence of missing values or hidden variables. In a recent paper, I introduced an algorithm called Structural EM that combines the standard Expectation Maximization (EM) algorithm, which optimizes parameters, with structure search for model selection. That algorithm learns networks based on penalized likelihood scores, which include the BIC/MDL score and various approximations to the Bayesian score. In this paper, I extend Structural EM to deal directly with Bayesian model selection. I prove the convergence of the resulting algorithm and show how to apply it for learning a large class of probabilistic models, including Bayesian networks and some variants thereof.

研究の動機と目的

• 欠損値や隠れ変数を含むデータからのベイジアンネットワーク構造の学習という課題に対処すること。
• 従来のスコアベース手法が罰則付き尤度（例：BIC/MDL）に依存しており、モデル選択において事前知識を十分に反映しないという制限を克服すること。
• パラメータ学習（EMを介して）と完全ベイジアンスコアを用いた構造学習を統合する包括的なフレームワークを構築すること。
• 潜在変数が存在する状況においても、学習プロセスの理論的収束性を保証すること。
• 標準的なベイジアンネットワークを超えた、より広範な確率的モデルのクラスへの構造的EMアルゴリズムの適用可能性を拡張すること。

提案手法

• 構造的EMアルゴリズムを、罰則付き尤度スコアの代わりにベイジアンスコアを用いたモデル選択に適応させること。
• 欠損値や隠れ変数が存在する状況でのパrameter推定に、期待最大化（EM）アルゴリズムを統合すること。
• 反復的最適化を実行：Eステップ（現在のモデル下での期待十分統計の計算）とMステップ（パrameterと構造の更新）を交互に繰り返すこと。
• 構造探索の目的関数として、ネットワーク構造における事前分布を組み込んだ周辺尤度（ベイジアンスコア）を用いること。
• DAGの空間上で、ベイジアンスコアに従って誘導されるグリーディーまたはヒューリスティックな探索戦略を適用し、高スコアな構造を同定すること。
• やや弱い正則性条件のもとで、アルゴリズムの収束性を証明し、安定した学習ダイナミクスを保証すること。

実験結果

リサーチクエスチョン

• RQ1 欠損データを伴うベイジアンネットワークの学習において、ベイジアンモデル選択を構造的EMフレームワークに効果的に統合できるか？
• RQ2 潜在変数が存在する状況において、BIC/MDLなどの罰則付き尤度スコアと比較して、ベイジアンスコアの使用が構造学習にどのように改善をもたらすか？
• RQ3 パrameterと構造を同時に学習する際、提案手法は収束を保証するか？
• RQ4 このアルゴリズムは、標準的なベイジアンネットワークを超えた複雑な確率的モデルをどの程度処理できるか？
• RQ5 欠損データ下での構造学習プロセスにおいて、事前分布の影響は何か？

主な発見

• ベイジアン構造的EMアルゴリズムは、やや弱い正則性条件のもとで局所最適解に収束し、安定した学習ダイナミクスを保証する。
• 完全ベイジアンスコアを活用することで、欠損値や隠れ変数が存在する状況でも、効果的な構造学習が可能になる。
• 罰則付き尤度スコアからベイジアンスコアに置き換えることで、事前知識が組み込まれ、モデル選択の精度が向上する。
• このフレームワークは、ベイジアンネットワークおよびその変種を含む広範な確率的モデルクラスに適用可能である。
• 理論的分析により、反復的最適化プロセスがベイジアンスコアの単調増加を維持することが確認され、信頼性の高い収束が得られる。