[論文レビュー] A Theoretical Analysis of the BDeu Scores in Bayesian Network Structure Learning

Joe Suzuki|arXiv (Cornell University)|Jul 15, 2016

Bayesian Modeling and Causal Inference参考文献 13被引用数 5

ひとこと要約

この論文はベイジアンネットワーク構造学習におけるBDeuスコアの理論的分析を提供し、モデル選択における基本的な正則性を破っていることを示している。具体的には、条件付きエントロピーがゼロ（つまり、単純なモデルがデータを完全に説明している）にもかかわらず、より複雑な構造を好むことがある。BDeuスコアの背後にある事前分布の仮定が、直感的な単純さと適合性のバランスを損なう、直感に反する振る舞いを引き起こしている。

ABSTRACT

In Bayesian network structure learning (BNSL), we need the prior probability over structures and parameters. If the former is the uniform distribution, the latter determines the correctness of BNSL. In this paper, we compare BDeu (Bayesian Dirichlet equivalent uniform) and Jeffreys' prior w.r.t. their consistency. When we seek a parent set $U$ of a variable $X$, we require regularity that if $H(X|U)\leq H(X|U')$ and $U\subsetneq U'$, then $U$ should be chosen rather than $U'$. We prove that the BDeu scores violate the property and cause fatal situations in BNSL. This is because for the BDeu scores, for any sample size $n$,there exists a probability in the form $P(X,Y,Z)={P(XZ)P(YZ)}/{P(Z)}$ such that the probability of deciding that $X$ and $Y$ are not conditionally independent given $Z$ is more than a half. For Jeffreys' prior, the false-positive probability uniformly converges to zero without depending on any parameter values, and no such an inconvenience occurs.

研究の動機と目的

• ベイジアンネットワーク構造学習（BNSL）におけるBDeuスコアの理論的性質を調査し、特に標本サイズやパrameterの事前分布が変化する場合の挙動を明らかにすること。
• BDeuスコアが、適合性と単純さの両面で優れているモデルがモデル選択で優先されるべきという原則を満たしているかどうかを特定すること。
• BNSLにおける一貫性と理論的整合性の観点から、BDeuスコアとジェファレーズの事前分布（BDスコア）を比較すること。
• BDeuスコアの根本的な欠陥を暴露すること：条件付きエントロピーがゼロであるにもかかわらず、より複雑な親集合を誤って好むことがある。これはモデル選択の直感を損なう。

提案手法

• 異なる親集合に対する周辺尤度（対数スコア）の漸近展開を用いたBDeuスコアの理論的分析。追加の親を持つ構造と持たない構造のスコアを比較。
• BDeuおよびジェファレーズの事前分布の負の対数スコアの導出。ガンマ関数、標本カウント、等価標本サイズδを含む項を含む。
• 数学的帰納法を用いて、ジェファレーズの事前分布では、独立な変数の周辺スコアの積が常に結合スコア以上であることを証明。これにより、モデル選択の正則性と整合する。
• 数学的帰納法を用いて、δ > 0 のBDeuでは、特定の条件下で結合スコアが周辺スコアの積よりも厳密に小さいことを証明。これにより正則性条件が破られる。
• 標本サイズnの増加に伴うBDeuスコアの漸近的挙動の分析。一様一貫性は満たさないが、点ごとの一貫性は保たれる。
• ガンマ関数の不等式を用いたBDeuとジェファレーズの事前分布のスコアの数学的比較。これにより、BDeuにおける正則性条件の破れが明確に示される。

実験結果

リサーチクエスチョン

• RQ1 BDeuスコアは、モデル選択における正則性条件を満たしているか？　すなわち、適合性と単純さの両面で優れているモデルが優先されるべきである。
• RQ2 ある変数の親集合に対する条件付きエントロピーがゼロ（完全な適合）である場合、BDeuスコアはどのように振る舞うか？
• RQ3 なぜBDeuスコアは直感に反するモデル選択結果を引き起こすのか？　特に、完全に適合する単純なモデルよりも複雑なモデルを好む理由は何か？
• RQ4 一貫性とモデル選択の原則への適合性という観点から、BDeuスコアは理論的にジェファレーズの事前分布とどのように比較できるか？
• RQ5 BDeuスコアが等価標本サイズδの選択に敏感である理論的根拠は何か？　これはより深い一貫性の欠如に起因するのか？

主な発見

• BDeuスコアはモデル選択における正則性条件を破る。条件付きエントロピーがゼロ（つまり、単純な親集合がデータを完全に説明している）にもかかわらず、BDeuスコアはより大きな、より複雑な親集合を好むことがある。
• ジェファレーズの事前分布（BDスコア）では、独立な変数の周辺スコアの積が常に結合スコア以上である。これにより、モデル選択の直感と整合する。
• これに対して、δ > 0 のBDeuスコアでは、n ≥ 2 のとき、周辺スコアの積が結合スコアよりも厳密に小さい。これにより正則性条件が破られる。
• この破れは、等価標本サイズδがすべての状態構成に均等に分散されているというBDeuの事前分布の仮定に起因し、モデルの複雑さに対するペナルティが一貫しない。
• BDeuスコアの一貫性の欠如は標本サイズに起因するのではなく、モデル適合性と単純さのバランスを損なう、根本的な事前分布構造に起因する。
• BDeuは点ごとの一貫性（任意の固定BNに対してn → ∞のとき正しい構造が回復される）を満たすが、一様一貫性は満たさない。これは、大きなnに対しても一部のCI関係が検出されない可能性があることを意味する。