[論文レビュー] Learning Bayesian Networks with Restricted Causal Interactions

Julian R. Neil, Chris S. Wallace+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 28被引用数 16

ひとこと要約

この論文は、対数線形局所モデルと最小メッセージ長（MML）原理を用いて、制限された因果的相互作用を持つベイジアンネットワークを学習するための最初の順序ネットワーク（FONs）を導入する。条件付き確率表を因果的独立性を考慮して対数線形構造でモデル化することにより、パラメータの爆発を抑えると同時に、効率的かつノード単位での構造学習を可能にし、モデル表現力に損なわれることなく顕著な複雑さの低減を達成する。

ABSTRACT

A major problem for the learning of Bayesian networks (BNs) is the exponential number of parameters needed for conditional probability tables. Recent research reduces this complexity by modeling local structure in the probability tables. We examine the use of log-linear local models. While log-linear models in this context are not new (Whittaker, 1990; Buntine, 1991; Neal, 1992; Heckerman and Meek, 1997), for structure learning they are generally subsumed under a naive Bayes model. We describe an alternative interpretation, and use a Minimum Message Length (MML) (Wallace, 1987) metric for structure learning of networks exhibiting causal independence, which we term first-order networks (FONs). We also investigate local model selection on a node-by-node basis.

研究の動機と目的

• ベイジアンネットワークの条件付き確率表における指数的パラメータ増加を解消すること。
• 因果的独立性を有するベイジアンネットワークのスケーラブルな学習手法を開発すること。
• 制限された因果的相互作用下での構造学習に最小メッセージ長（MML）原理を適用すること。
• ベイジアンネットワークにおける効率的かつノード単位の局所モデル選択を可能にすること。
• 独立性仮定を越えた局所構造をモデル化することで、ナイーブベイズの代替手段を提供すること。

提案手法

• 因果的独立性を捉えるために、条件付き確率表の局所構造を対数線形モデルで表現する。
• ネットワーク構造のスコア付けと学習に最小メッセージ長（MML）基準を適用する。
• 制限された因果的相互作用をモデル化するための形式的枠組みとして、最初の順序ネットワーク（FONs）を導入する。
• 構造学習の最適化を図るため、ノード単位で局所モデル選択を実施する。
• MMLを用いてモデルの複雑さとデータ適合性をバランスさせるメッセージスティンングフレームワークを採用する。
• 対数線形相互作用による構造的制約の符号化を通じて、従来のベイジアンネットワーク学習を拡張する。

実験結果

リサーチクエスチョン

• RQ1 対数線形局所モデルは、ベイジアンネットワークにおける因果的独立性を効果的に表現できるか？
• RQ2 MML原理は、因果的独立性制約下でも効率的かつ正確な構造学習を可能にするか？
• RQ3 ノード単位の局所モデル選択は、グローバル構造学習と比較して、複雑さと正確さの面でどう異なるか？
• RQ4 制限された因果的相互作用は、予測力の損失を伴わずにパラメータ数を削減できるか？
• RQ5 FONフレームワークは、条件付き依存関係をモデル化するナイーブベイズの代替手段として実用的か？

主な発見

• FONフレームワークは、因果的独立性を活用することで、条件付き確率表のパラメータ数を著しく削減できた。
• MMLに基づく構造学習と対数線形モデルの組み合わせは、より少ないパラメータで複雑な依存関係を捕捉する点でナイーブベイズを上回った。
• ノード単位の局所モデル選択は、よりスケーラブルかつ効率的なネットワーク学習を実現した。
• 高い親ノード次数においても、モデルの表現力を維持しながら、パラメータの爆発を顕著に低減した。
• UAI-1999の実験結果から、FONsは標準的なBNと比較して、モデルの複雑さと適合性のバランスが優れていた。
• MML内での対数線形モデルの使用は、因果的ネットワーク学習におけるモデルの単純さとデータ適合性のバランスを合理的にとる手法を提供した。