[論文レビュー] A Bayesian Approach to Learning Bayesian Networks with Local Structure

David Maxwell Chickering, David Heckerman+1 more|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用数 326

ひとこと要約

本稿では、条件付き確率分布（CPD）の意思決定グラフ表現を用いた、局所構造を有するベイジアンネットワークを学習するためのベイジアンフレームワークを提案する。CPDのパラメータの事後分布を統合することで、ネットワーク構造を評価するベイジアンスコア関数を導出する。グリーディ探索を用いて複数の探索空間を評価し、従来のMDLや非ベイジアンスコアを用いた手法と比較して、構造学習の精度が向上することを示している。

ABSTRACT

Recently several researchers have investigated techniques for using data to learn Bayesian networks containing compact representations for the conditional probability distributions (CPDs) stored at each node. The majority of this work has concentrated on using decision-tree representations for the CPDs. In addition, researchers typically apply non-Bayesian (or asymptotically Bayesian) scoring functions such as MDL to evaluate the goodness-of-fit of networks to the data. In this paper we investigate a Bayesian approach to learning Bayesian networks that contain the more general decision-graph representations of the CPDs. First, we describe how to evaluate the posterior probability that is, the Bayesian score of such a network, given a database of observed cases. Second, we describe various search spaces that can be used, in conjunction with a scoring function and a search procedure, to identify one or more high-scoring networks. Finally, we present an experimental evaluation of the search spaces, using a greedy algorithm and a Bayesian scoring function.

研究の動機と目的

• 条件付き確率分布（CPD）のコンパクトで構造的な表現を組み込んだ、整合的なベイジアンアプローチによるベイジアンネットワークの構造学習手法の開発。
• 従来の意思決定木の枠を超えて、CPDのより表現力の高い意思決定グラフ表現への手法の拡張。
• ベイジアンスコア関数に基づく構造学習のための異なる探索空間の評価と比較。
• 局所構造を有するネットワーク構造の高スコアな特定において、ベイジアンスコアの有効性の実証。

提案手法

• CPDパラメータの事後分布を統合することで、意思決定グラフCPDを有するネットワークのベイジアンスコアを導出する。
• ネットワーク構造とCPDパラメータの両方に統合的な事前分布を定式化し、完全なベイジアン推論を可能にする。
• ネットワークトポロジーと意思決定グラフ構造の両方の変更を許容する複数の探索空間を定義する。
• グリーディ探索手順を用いて、ベイジアンスコアに基づく高スコア構造を探索・同定する。
• CPDの共役事前分布と閉形式の周辺尤度を用いて、ベイジアンスコアを計算する。
• 複雑な局所構造に対しても、事後スコアの効率的計算をサポートする。

実験結果

リサーチクエスチョン

• RQ1 意思決定グラフ表現のCPDを用いるベイジアンネットワークに対して、どのようにベイジアンスコア関数を導出できるか。
• RQ2 ベイジアンスコア関数に基づく局所構造を有するベイジアンネットワークの構造学習において、最も効果的な探索空間は何か。
• RQ3 局所構造を有するネットワークの学習において、MDLや非ベイジアンスコアと比較して、ベイジアンスコアの性能はどのように異なるか。
• RQ4 意思決定グラフと意思決定木を比較した場合、学習精度とモデルの複雑さにどのような影響があるか。
• RQ5 グリーディ探索戦略は、局所構造を有する高スコアなベイジアンネットワーク構造を効果的に同定できるか。

主な発見

• 共役事前分布と閉形式の周辺尤度を用いることで、意思決定グラフCPDを有するネットワークのベイジアンスコアは、効率的に計算可能である。
• 意思決定グラフの使用により、意思決定木と比較してCPDの表現がよりコンパクトかつ正確になる。
• ベイジアンスコアに基づくグリーディ探索は、MDLや非ベイジアンスコアを用いた手法と比較して、一貫してより優れた構造のネットワークを同定する。
• 提案された探索空間により、ネットワークトポロジーと局所CPD構造の両方の有効な探索が可能になる。
• 実験的評価により、ベイジアンアプローチが、特に高次元またはスパースなデータ環境下で、構造学習の精度を向上させることを示している。
• 本手法は、局所構造を有する複雑なベイジアンネットワークの学習において、頑健性とスケーラビリティを示している。