[論文レビュー] Learning Bayesian Networks: A Unification for Discrete and Gaussian Domains

David Heckerman, Dan Geiger|arXiv (Cornell University)|Feb 20, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用数 125

ひとこと要約

本稿では、ディリクレ分布およびノーマル＝ウィシャールト分布から導かれた一般化されたベイズスコア測度を用いて、離散的およびガウス型ドメインにおけるベイジアンネットワーク学習を統一する。共役事前分布と周辺尤度を活用することで、両ドメインにわたる一貫性のある構造学習が可能となり、ハイブリッドベイジアンネットワーク推論およびスコアリングの理論的裏付けに基づいた統一的枠組みを提供する。

ABSTRACT

We examine Bayesian methods for learning Bayesian networks from a combination of prior knowledge and statistical data. In particular, we unify the approaches we presented at last year's conference for discrete and Gaussian domains. We derive a general Bayesian scoring metric, appropriate for both domains. We then use this metric in combination with well-known statistical facts about the Dirichlet and normal--Wishart distributions to derive our metrics for discrete and Gaussian domains.

研究の動機と目的

• 離散的およびガウス型ドメインにおけるベイジアンネットワーク構造学習手法を、一つの確率的枠組みの下で統一すること。
• 離散変数および連続変数（ガウス型）の両方に適用可能な一般化されたベイズスコア測度を導出すること。
• ディリクレ分布およびノーマル＝ウィシャールト分布の既知の統計的性質を活用して、両ドメイン間での一貫性のあるスコア計算を可能にすること。
• ハイブリッドベイジアンネットワーク学習に対して理論的に妥当かつ計算的に実行可能なアプローチを提供すること。
• ドメイン固有のスコアヒューリスティクスを排除することで、構造学習の解釈可能性と一貫性を向上させること。

提案手法

• 共役事前分布の下での周辺尤度を用いて、一般化されたベイズスコア測度を導出する。
• 多項分布（離散）の条件付き確率表に対して、ディリクレ分布を共役事前分布として適用する。
• 多変量ガウス分布の条件付き分布に対して、ノーマル＝ウィシャールト分布を共役事前分布として適用する。
• 各ネットワーク構造におけるデータの周辺尤度をスコア関数として使用する。
• 事前知識と観測データを組み合わせて、ネットワーク構造の事後スコアを計算する。
• 混合変数タイプにわたる同一のスコア測度を用いて、スコアに基づく最適化による構造探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 離散的およびガウス型ベイジアンネットワークの両方に有効な、単一のベイズスコア測度を導出できるか？
• RQ2 共役事前分布（ディリクレ分布およびノーマル＝ウィシャールト分布）をどのように用いることで、離散的および連続的条件付き分布のスコアを統一できるか？
• RQ3 ハイブリッドドメインにおける周辺尤度をスコアとして使用する理論的根拠は何か？
• RQ4 統一されたスコア測度が、混合変数タイプにわたる構造学習における一貫性と最適性をどのように保証するか？
• RQ5 この統一的アプローチを実世界のデータに適用した場合の計算的および統計的影響は何か？

主な発見

• 離散的およびガウス型ベイジアンネットワークの両方に一様に適用可能な単一のベイズスコア測度が導出された。
• 共役事前分布（ディリクレ分布およびノーマル＝ウィシャールト分布）の使用により、両ドメインにおける周辺尤度の正確な計算が可能となった。
• 統一されたスコア測度により、別々のスコア関数を必要とせずにハイブリッドドメインにおける一貫性のある構造学習が可能となった。
• このアプローチは、ネットワーク学習における事前知識と統計的データの統合のための理論的裏付けを提供する。
• 混合変数タイプにわたる同一のスコア測度を用いて、効率的なスコアベースの構造探索が可能となった。
• このフレームワークにより、同一の整合的スコア基準を用いて、離散的および連続的変数を含むベイジアンネットワークの原理的学習が可能となった。