[論文レビュー] An Empirical-Bayes Score for Discrete Bayesian Networks

Marco Scutari|arXiv (Cornell University)|May 12, 2016

Bayesian Modeling and Causal Inference参考文献 17被引用数 12

ひとこと要約

本稿では、離散ベイジアンネットワークのための新しい経験的ベイズスコアを提案する。このスコアは、マージナル一様（MU）グラフ事前分布とベイジアンディリクレススパース（BDs）マージナル尤度を組み合わせ、構造学習と予測精度を向上させる。MU+BDsスコアは、10のベンチマークネットワークにおいて、計算コストを増加させることなく、U+BDeuアプローチを上回る性能を示した。

ABSTRACT

Bayesian network structure learning is often performed in a Bayesian setting, by evaluating candidate structures using their posterior probabilities for a given data set. Score-based algorithms then use those posterior probabilities as an objective function and return the maximum a posteriori network as the learned model. For discrete Bayesian networks, the canonical choice for a posterior score is the Bayesian Dirichlet equivalent uniform (BDeu) marginal likelihood with a uniform (U) graph prior (Heckerman et al., 1995). Its favourable theoretical properties descend from assuming a uniform prior both on the space of the network structures and on the space of the parameters of the network. In this paper, we revisit the limitations of these assumptions; and we introduce an alternative set of assumptions and the resulting score: the Bayesian Dirichlet sparse (BDs) empirical Bayes marginal likelihood with a marginal uniform (MU) graph prior. We evaluate its performance in an extensive simulation study, showing that MU+BDs is more accurate than U+BDeu both in learning the structure of the network and in predicting new observations, while not being computationally more complex to estimate.

研究の動機と目的

• 離散ベイジアンネットワークの構造学習において、均一（U）事前分布とベイジアンディリクレス同等均一（BDeu）スコアの限界を解決すること。
• U+BDeuが一貫性のない事前仮定に起因して誤ったエッジを含む傾向にあるのを克服すること。
• 計算効率を維持しつつ、学習精度と予測性能を向上させる新しい事後スコアを開発すること。
• 計算コストが高く、あるいは精度を犠牲にするBIC、NIP-BIC、最適α-BDeuといった既存スコアの理論的裏付けのある代替案を提供すること。
• MU+BDsスコアが、多様なネットワークタイプとサンプルサイズにおいて、構造回復と予測対数尤度の両面で優れていることを実証すること。

提案手法

• すべてのDAGに対して均一ではなく、個々のエッジの存在確率に対して均一なマージナル一様（MU）事前分布をDAG空間に導入する。
• 局所的ネットワーク構造に基づいてディリクレス事前分布の集中パラメータを調整することで、スパース構造を好む再パラメータ化されたBDeuスコアとして、ベイジアンディリクレススパース（BDs）マージナル尤度を導入する。
• MU事前分布とBDsマージナル尤度を組み合わせ、解析的に取り扱えるかつU+BDeuと計算的に同等のMU+BDsスコアを構築する。
• データ駆動の集中パラメータを用いて、BDsスコアのキャリブレーションを経験的ベイズ推定で行い、スパースな依存関係への感受性を向上させる。
• 標準的な探索アルゴリズム（例：勾配上昇）を用いたスコアベースの構造学習フレームワーク内にスコアを実装し、事後スコアを最大化する。
• 変動するサンプルサイズとスパarsityレベルにおける10の実世界のベイジアンネットワーク構造を用いた、広範なシミュレーションスタディにより、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案されたMU+BDsスコアは、U+BDeuと比較して、学習されたベイジアンネットワーク構造の正確性を向上させるか？
• RQ2 MU+BDsは、U+BDeuおよびBICと比較して、未知のデータにおける予測性能を向上させるか？
• RQ3 MU+BDsの計算複雑度は、その向上した性能にもかかわらず、U+BDeuと同等か？
• RQ4 MU+BDsは、NIP-BIC、NIP-BDe、または最適α-BDeuといった他の先進的スコアと比較して、正確性と効率性の両面で優れているか？
• RQ5 新しいスコアは、特にサンプル数が少ない状況において、誤ったエッジの含みを効果的に低減するか？

主な発見

• MU+BDsは、10のベンチマークネットワークすべてにおいて、U+BDeuを上回る正しいDAG構造の学習精度を示した。そのうち7つのネットワークで最高スコアを記録した。
• 予測対数尤度評価において、MU+BDsは10のネットワークのうち7つで平均スコアが最低（最高の性能）を達成し、低い値がより高い予測精度を示している。
• ALARMネットワークでは、α=10のとき、MU+BDsの予測対数尤度は1.51であったのに対し、U+BDeuは1.67であった。これは顕著な改善を示している。
• ANDESネットワークでは、α=10のとき、MU+BDsの予測対数尤度は11.90であったのに対し、U+BDeuは14.75であった。予測性能は19%向上した。
• MU+BDsスコアは、U+BDeuと同等の計算効率を維持しており、NIP-BIC や最適α-BDeuといった高コストな代替手法を回避した。
• BICは10のネットワークのうち3つでU+BDeuを上回ったが、残りの7つではMU+BDsが構造学習および予測の両面でBICを上回り、全体としての優位性を示した。