[論文レビュー] Beyond Uniform Priors in Bayesian Network Structure Learning

Marco Scutari|arXiv (Cornell University)|Apr 12, 2017

Bayesian Modeling and Causal Inference参考文献 25被引用数 3

ひとこと要約

本稿では、ベイジアンネットワーク構造学習における標準的な均一分布（U）＋BDeuスコアの代替として、マージナル一様（MU）グラフ事前分布を組み合わせたベイジアンディリクレ sparse（BDs）マージナル尤度を提案する。MU+BDsは、計算コストを増加させることなく、小規模かつスパースなデータセットにおいて構造学習の精度を顕著に向上させるとともに、予測性能についても競争力を持つことを示している。

ABSTRACT

Bayesian network structure learning is often performed in a Bayesian setting, evaluating candidate structures using their posterior probabilities for a given data set. Score-based algorithms then use those posterior probabilities as an objective function and return the maximum a posteriori network as the learned model. For discrete Bayesian networks, the canonical choice for a posterior score is the Bayesian Dirichlet equivalent uniform (BDeu) marginal likelihood with a uniform (U) graph prior, which assumes a uniform prior both on the network structures and on the parameters of the networks. In this paper, we investigate the problems arising from these assumptions, focusing on those caused by small sample sizes and sparse data. We then propose an alternative posterior score: the Bayesian Dirichlet sparse (BDs) marginal likelihood with a marginal uniform (MU) graph prior. Like U+BDeu, MU+BDs does not require any prior information on the probabilistic structure of the data and can be used as a replacement noninformative score. We study its theoretical properties and we evaluate its performance in an extensive simulation study, showing that MU+BDs is both more accurate than U+BDeu in learning the structure of the network and competitive in predicting power, while not being computationally more complex to estimate.

研究の動機と目的

• ベイジアンネットワーク構造学習における代表的なU+BDeuスコアの限界、特に小標本サイズやスパースデータ下での問題を解決すること。
• 離散的ベイジアンネットワークにおけるネットワーク構造およびパラメータの両方の均一事前分布の理論的・実証的欠陥を調査すること。
• スパースデータの特性をより適切に反映するが、非情報的かつ計算的に効率的な新しい事後スコア（MU事前分布を用いたBDs）を提案すること。
• 多様なベンチマークネットワークおよびデータ環境下で、新しいスコアの構造的正確性と予測力の両面での性能を評価すること。

提案手法

• スパースな条件付き確率表を好むことで、スパースデータに適した非情報的代替として、ベイジアンディリクレsparse（BDs）マージナル尤度を提案する。
• すべてのDAGに均等確率を割り当てるマージナル一様（MU）グラフ事前分布を導入し、非情報的性質を保ちつつ、標準的な均一事前分布が持つ構造的バイアスを回避する。
• MU+BDsスコアの理論的性質を導出する。特に、スパースデータ条件下での一貫性および漸近的挙動について検証する。
• 10個のベンチマークベイジアンネットワーク（例：Alarm, Hailfinder, Hepar2）を用いた包括的なシミュレーションスタディを実施し、サンプル数と変数数の比（n/p = 0.1, 0.2, 0.5）を変化させる。
• 真のDAGを回復する精度を測定するために構造的ハミング距離（SHD）を用い、モデルの性能を評価するため予測対数尤度を用いる。
• 平均SHDおよび予測対数尤度を含む複数の指標において、MU+BDsをU+BDeuおよびMU事前分布の他の変種と比較する。

実験結果

リサーチクエスチョン

• RQ1 データが小規模かつスパースな状況下で、DAGおよびパラメータの均一事前分布が構造学習の正確性にどのように影響するか？
• RQ2 スパースなデータ下で、MUグラフ事前分布を用いたBDsマージナル尤度は、U+BDeuに比べてより正確なネットワーク構造を生成するか？
• RQ3 提案されたMU+BDsスコアは、U+BDeuと同等の予測性能を示すか？
• RQ4 改善された理論的性質にもかかわらず、新しいスコアは計算効率を維持しているか？
• RQ5 MU+BDsの性能は、異なるネットワークトポロジー（例：n/p = 0.1 と 0.5）やデータ環境下でどのように変化するか？

主な発見

• すべてのベンチマークネットワークにおいて、小標本サイズ（n/p = 0.1 および 0.2）下で、MU+BDsはU+BDeuよりも顕著に低い構造的ハミング距離（SHD）を達成しており、構造学習の正確性が優れていることが示された。
• n/p = 0.1 のHailfinderネットワークでは、MU+BDsはSHDをU+BDeuの5.31から4.20に1.11低下させた。最良のMUバリアント（c=5）ではSHDが4.20に達した。
• n/p = 0.1 のHepar2ネットワークでは、MU+BDsはSHDをU+BDeuの3.73から最良のMUバリアントの3.41に低下させ、8.6％の改善を達成した。
• 予測性能に関しては、MU+BDsは対数尤度において常にU+BDeuと同等またはわずかに上回り、n/p = 0.5 のHepar2ネットワークでは最良のバリアント（c=5）が3.30の対数尤度を達成したのに対し、U+BDeuは3.31を記録した。
• MU+BDsスコアは計算効率を維持しており、U+BDeuと同等の推定複雑性を有しており、大規模応用において実用的である。
• シミュレーション結果から、MU+BDsは、スパース（例：Water）および複雑（例：Alarm）なネットワーク構造を含む多様なネットワーク構造において、全テストデータ環境下で頑健であることが示された。