[論文レビュー] Learning Gaussian Networks

Dan Geiger, David Heckerman|arXiv (Cornell University)|Feb 27, 2013

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、多変量正規分布の仮定の下で連続変数を伴うベイジアンネットワークの学習に対して、スコア評価指標と探索手順を導入する。イベント同値性とパラメータモジュラリティを活用することで、ユーザーが指定する1つのベイジアンネットワークからガウスネットワークの事前分布を導出可能となり、従来の離散変数用の手法を連続領域へと体系的かつ原理的ベイジアン推論と構造学習を可能にする。

ABSTRACT

We describe algorithms for learning Bayesian networks from a combination of user knowledge and statistical data. The algorithms have two components: a scoring metric and a search procedure. The scoring metric takes a network structure, statistical data, and a user's prior knowledge, and returns a score proportional to the posterior probability of the network structure given the data. The search procedure generates networks for evaluation by the scoring metric. Previous work has concentrated on metrics for domains containing only discrete variables, under the assumption that data represents a multinomial sample. In this paper, we extend this work, developing scoring metrics for domains containing all continuous variables or a mixture of discrete and continuous variables, under the assumption that continuous data is sampled from a multivariate normal distribution. Our work extends traditional statistical approaches for identifying vanishing regression coefficients in that we identify two important assumptions, called event equivalence and parameter modularity, that when combined allow the construction of prior distributions for multivariate normal parameters from a single prior Bayesian network specified by a user.

研究の動機と目的

• 離散変数領域から連続変数領域へのベイジアンネットワーク構造学習を拡張すること。
• ガウスネットワークのためのスコア評価指標を開発し、事前知識と多変量正規分布データを統合すること。
• 多変量正規分布パラメータの事前分布を構築する理論的基盤（イベント同値性とパラメータモジュラリティ）を確立すること。
• 体系的ベイジアンスコアを用いて、混合離散・連続変数領域における効率的な構造探索を可能にすること。
• 消去係数を特定する従来の回帰ベース手法を、完全なネットワーク構造学習へと一般化すること。

提案手法

• データと事前知識を前提に、ネットワーク構造の事後確率を計算するベイジアンスコア評価指標を提案する。
• イベント同値性とパラメータモジュラリティを適用し、ユーザーが指定する1つのベイジアンネットワークから、多変量正規分布パラメータに対する一貫した事前分布を導出する。
• 連続変数の仮定に基づくネットワーク構造のスコア評価に、多変量正規尤度を用いる。
• 条件付き独立制約とパラメータ事前分布を通じて、ユーザーが指定する事前ネットワークを学習プロセスに統合する。
• 提案されたスコア評価指標を用いて候補となるネットワークを評価し、高い事後確率を持つ構造を同定する探索手順を採用する。
• パラメータ制約を通じて条件付き独立関係を同定することで、古典的な回帰ベース変数選択を完全なネットワーク構造学習へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 連続変数のみを含むドメインにおけるベイジアンネットワーク構造学習をどのように拡張できるか？
• RQ2 ガウスネットワークにおける多変量正規分布パラメータの一貫した事前分布を保証するにはどのような仮定が必要か？
• RQ3 ユーザーが指定する事前知識を、ガウスネットワークの学習に形式的に統合する方法は何か？
• RQ4 イベント同値性とパラメータモジュラリティは、ガウスネットワーク構造の体系的スコア評価をどのように可能にするか？
• RQ5 提案手法は、連続データにおける条件付き独立関係の特定に向けた従来の回帰ベース手法と比べてどのように異なるか？

主な発見

• 提案されたスコア評価指標により、多変量正規性のもとで、連続領域におけるベイジアン構造学習が、ネットワーク構造の事後確率を計算することで可能になる。
• イベント同値性とパラメータモジュラリティにより、ユーザーが指定する1つのベイジアンネットワークから、多変量正規分布パラメータの一貫した事前分布を導出可能である。
• 本手法は、従来の消去回帰係数を特定する手法を、完全なネットワーク構造学習へと一般化する。
• スコア評価指標を変数タイプに一貫して対応させることで、混合離散・連続変数領域における学習を支援する。
• 事前知識と統計的データを統合する体系的で統一的な方法を提供し、ガウスネットワークにおける構造学習を実現する。
• 理論的基盤により、スコア評価指標がマーコフ同値性に対して不変であることが保証され、頑健な構造学習を可能にする。