[論文レビュー] Asymptotic Model Selection for Naive Bayesian Networks

Dmitry Rusakov, Dan Geiger|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 20被引用数 38

ひとこと要約

本稿は、2つの隠れ状態と二値特徴をもつナイーブベイジアンネットワークにおける周辺尤度の閉形式の漸近的公式を導出しており、標準的なBICスコアが、そのモデルが階層的指数型族を形成することにより、BICの有効性が成立しないことを示している。これは、線形および曲がった指数型族とは対照的であり、BICはそれらの族では有効である。主な貢献は、この文脈におけるBICの欠陥を是正する、正確な漸近的近似である。

ABSTRACT

We develop a closed form asymptotic formula to compute the marginal likelihood of data given a naive Bayesian network model with two hidden states and binary features. This formula deviates from the standard BIC score. Our work provides a concrete example that the BIC score is generally not valid for statistical models that belong to a stratified exponential family. This stands in contrast to linear and curved exponential families, where the BIC score has been proven to provide a correct approximation for the marginal likelihood.

研究の動機と目的

• 隠れ変数をもつナイーブベイジアンネットワークにおけるモデル選択のためのBICスコアの有効性を検討すること。
• 線形または曲がった族とは対照的に、階層的指数型族に属するモデルにおいて、BIC近似が成立するかどうかを調査すること。
• 2つの隠れ状態と二値特徴をもつ特定のクラスのナイーブベイジアンネットワークにおける周辺尤度の閉形式の漸近的公式を導出すること。
• BICが失敗する明確な反例を提示し、ベイジアンネットワーク構造学習におけるBICの一般適用性に疑問を呈すること。

提案手法

• 2つの隠れ状態と二値特徴をもつナイーブベイジアンネットワークについて、大標本サイズ下での周辺尤度の漸近的近似を導出する。
• モデルが、BICの有効性に必要な正則性条件を満たさないことが知られている階層的指数型族に属することを分析する。
• 2次漸近展開を用いて周辺尤度を計算し、BICとは異なる主要項に注目する。
• 導出された公式と標準的なBICスコアを比較し、モデルの階層的性質に起因する構造的差異を同定する。
• 漸近統計および指数型族理論の技術を用いて、モデルの特異的構造を反映する閉形式の表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 隠れ変数をもつナイーブベイジアンネットワークにおいて、BICスコアは周辺尤度の有効な近似を提供するか？
• RQ2 階層的指数型族に属するモデルでは、なぜBICスコアが漸近的にも失敗するのか？
• RQ3 2つの隠れ状態と二値特徴をもつ特定のクラスのナイーブベイジアンネットワークについて、周辺尤度の閉形式の漸近的公式を導出できるか？
• RQ4 このモデルクラスにおいて、漸近的周辺尤度はBIC近似とどのように異なるか？

主な発見

• 2つの隠れ状態と二値特徴をもつナイーブベイジアンネットワークでは、階層的指数型族に属するため、BICスコアは有効でない。
• 導出された周辺尤度の漸近的公式は、BICスコアから系統的にずれており、この文脈ではBICが真の周辺尤度を過大評価または過小評価していることを示している。
• この文脈におけるBICの失敗は、標準的なBICの導出で仮定されている正則性条件をモデルの特異的構造が満たさないことに起因する。
• 本稿は、広く使われているベイジアンネットワークのクラスにおいて、BICが漸近的にでさえも失敗する明確な反例を提示している。