[論文レビュー] Bayesian Dirichlet Bayesian Network Scores and the Maximum Entropy Principle

Marco Scutari|arXiv (Cornell University)|Aug 2, 2017

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

この論文は、ベイジアンネットワーク構造学習におけるベイジアンディリクレット同等一様（BDeu）スコアを批判し、最大相対エントロピー原理に違反し、ハイパーパrameterに敏感なため、信頼性の低いベイズ因子を生じることを示している。代わりに、エントロピー原理に整合し、BDeuの欠陥を回避する改善された事前分布仮定により、スパースデータをより適切に扱えるベイジアンディリクレットスパース（BDs）スコアを提唱する。

ABSTRACT

A classic approach for learning Bayesian networks from data is to identify a maximum a posteriori (MAP) network structure. In the case of discrete Bayesian networks, MAP networks are selected by maximising one of several possible Bayesian Dirichlet (BD) scores; the most famous is the Bayesian Dirichlet equivalent uniform (BDeu) score from Heckerman et al (1995). The key properties of BDeu arise from its uniform prior over the parameters of each local distribution in the network, which makes structure learning computationally efficient; it does not require the elicitation of prior knowledge from experts; and it satisfies score equivalence. In this paper we will review the derivation and the properties of BD scores, and of BDeu in particular, and we will link them to the corresponding entropy estimates to study them from an information theoretic perspective. To this end, we will work in the context of the foundational work of Giffin and Caticha (2007), who showed that Bayesian inference can be framed as a particular case of the maximum relative entropy principle. We will use this connection to show that BDeu should not be used for structure learning from sparse data, since it violates the maximum relative entropy principle; and that it is also problematic from a more classic Bayesian model selection perspective, because it produces Bayes factors that are sensitive to the value of its only hyperparameter. Using a large simulation study, we found in our previous work (Scutari, 2016) that the Bayesian Dirichlet sparse (BDs) score seems to provide better accuracy in structure learning; in this paper we further show that BDs does not suffer from the issues above, and we recommend to use it for sparse data instead of BDeu. Finally, will show that these issues are in fact different aspects of the same problem and a consequence of the distributional assumptions of the prior.

研究の動機と目的

• 情報理論的視点から、特にBDeuを含むベイジアンディリクレット（BD）スコアの理論的基盤を検討すること。
• BDeuがスパースデータ環境で劣悪に機能する理由を、最大相対エントロピー原理に結びつけて調査すること。
• 構造学習の信頼性が低下し、ベイズ因子が敏感になるBDeuの事前分布における根本的問題を特定すること。
• ベイジアンディリクレットスパース（BDs）スコアがこれらの問題を回避し、スパースデータ設定でより優れたパフォーマンスを示すことを実証すること。
• BDeuの問題を、事前分布の分布的仮定の誤りという一元的な原因に統一すること。

提案手法

• GiffinとCaticha（2007）のフレームワークを用い、ベイズ推論と最大相対エントロピー原理の関連を分析することでBDスコアを検討する。
• BDスコアとエントロピー推定の関係を導出し、BDeuの均一事前分布がエントロピーの不一致を引き起こす仕組みを明らかにする。
• BDeuの単一ハイパーパrameterに対するベイズ因子の感度を分析し、モデル選択の不安定性を特定する。
• 先行研究（Scutari, 2016）の理論的分析およびシミュレーション結果を用いて、BDeuとBDsを比較する。
• エントロピー制約を満たし、BDeuの欠陥を回避する点で、BDsを原理的代替案として提唱する。
• 根本的問題は、スコア計算自体ではなく、事前の分布的仮定に起因することを確立する。

実験結果

リサーチクエスチョン

• RQ1 BDeuスコアは、スパースデータ環境下でも最大相対エントロピー原理を満たしているか？
• RQ2 BDeuのベイズ因子がハイパーパrameterに敏感であることは、構造学習の信頼性にどのように影響するか？
• RQ3 情報理論的観点から、なぜBDeuはスパースデータ環境で失敗するのか？
• RQ4 理論的および実証的両面で、BDsスコアがBDeuを上回ることを示せるか？
• RQ5 BDeuの失敗は、その事前分布の仮定に関連する一義的な根本的要因に起因しているか？

主な発見

• BDeuスコアは、特にスパースデータ環境下で、局所分布に対する均一事前分布のおかげで最大相対エントロピー原理に違反する。
• BDeuは、そのハイパーパrameterに極めて敏感なベイズ因子を生じさせ、モデル選択の信頼性を損なう。
• BDsスコアは、エントロピー原理に整合し、スパースデータに適した事前仮定を採用しているため、これらの問題を回避する。
• BDeuの問題は、その事前の分布的仮定がエントロピー推定に一貫性を欠いていることに起因する。
• Scutari（2016）のシミュレーション結果は、データスパース下での構造学習においてBDsがBDeuよりも正確であることを支持する。
• BDeuに同定されたすべての欠陥は、一元的に「エントロピー最大化原理と整合しないその事前の分布的仮定」に起因する。