[論文レビュー] Learning the Bayesian Network Structure: Dirichlet Prior versus Data

Harald Steck|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 10被引用数 10

ひとこと要約

この論文は、ベイジアンネットワーク構造学習におけるディリクレ事前分布の等価標本サイズ（ESS）の影響を調査する。理論的に大規模なESS値を分析し、実証的条件分布が一様性から著しく逸脱している場合、事前分布とデータの両方が独立性を示唆してもエッジが好まれることを示している。さらに、現実的状況における「最適」ESSの解析的近似を提案し、この最適値に最も影響を与えるデータの特性を同定する。

ABSTRACT

In the Bayesian approach to structure learning of graphical models, the equivalent sample size (ESS) in the Dirichlet prior over the model parameters was recently shown to have an important effect on the maximum-a-posteriori estimate of the Bayesian network structure. In our first contribution, we theoretically analyze the case of large ESS-values, which complements previous work: among other results, we find that the presence of an edge in a Bayesian network is favoured over its absence even if both the Dirichlet prior and the data imply independence, as long as the conditional empirical distribution is notably different from uniform. In our second contribution, we focus on realistic ESS-values, and provide an analytical approximation to the "optimal" ESS-value in a predictive sense (its accuracy is also validated experimentally): this approximation provides an understanding as to which properties of the data have the main effect determining the "optimal" ESS-value.

研究の動機と目的

• ディリクレ事前分布における等価標本サイズ（ESS）が、ベイジアンネットワークにおける最大後確信度構造学習にどのように影響するかを理解すること。
• 特に、事前分布とデータの両方が条件付き独立性を示唆する場合に、大規模なESS値におけるベイジアンネットワーク構造学習の理論的挙動を分析すること。
• 現実的なESS値における予測的観点から「最適」ESSの解析的近似を導出すること。
• 実際の構造学習において、最適ESS値に最も顕著に影響を与えるデータの特性を同定すること。
• 提案されたESS近似を実験的に検証し、構造学習における事前分布選択の実用的指針を提供すること。

提案手法

• 両方の事前分布とデータが条件付き独立性を示唆する場合のエッジ包含に関する、大規模ESS値におけるネットワーク構造の後確率の理論的分析。
• 予測誤差の期待値を最小化することに基づく、予測的観点からの最適ESSの解析的近似の導出。
• 予測性能を定量化するために、真の条件付き分布と推定された条件付き分布との間のカルバック・ライブラー距離の使用。
• 周辺尤度の漸近的近似を応用し、最適ESSをデータ分布の特性関数として導出。
• 合成データおよび実世界のデータセットを用いた実験的評価を通じた近似の検証。
• 最適ESSを決定づける主要なデータ特性（例えば、条件付き分布の非一様性の度合い）の同定。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ事前分布とデータの両方が条件付き独立性を示唆するにもかかわらず、どのような条件下でエッジがベイジアンネットワークにおいて依然として好まれるのか？
• RQ2 ディリクレ事前分布におけるESSの選択が、学習されたベイジアンネットワーク構造の予測精度にどのように影響するか？
• RQ3 実際の構造学習において、最適ESS値に最も強く影響を与えるデータ特性は何か？
• RQ4 事前分布の影響とデータ証拠のバランスを取る最適ESSについて、閉形式の解析的近似を導出可能か？
• RQ5 大規模ESS値における後確率の理論的挙動と、現実的状況における実験的性能の間には、どのような相違があるか？

主な発見

• 事前分布とデータの両方が条件付き独立性を示唆するにもかかわらず、実証的条件付き分布が一様性から著しく逸脱している場合、MAP推定においてもエッジが依然として好まれる。
• 最適ESS値は固定定数ではなく、データ内の条件付き分布の非一様性に依存する。
• 提案された最適ESSの解析的近似は、実験的にさまざまなデータセットで性能を正確に予測できることを確認した。
• 最適ESSの主な決定要因は、標本サイズではなく、実証的条件付き分布の非一様性の度合いである。
• 大規模なESS値では、事前分布の影響が強く働くが、データ分布が十分に非一様であればエッジの包含は可能である。
• この近似により、デフォルト値や任意の選択よりも予測性能を向上させる、合理的なESS選択の手法が提供される。