[論文レビュー] Conditions Under Which Conditional Independence and Scoring Methods Lead to Identical Selection of Bayesian Network Models

Robert G. Cowell|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用数 39

ひとこと要約

この論文は、完全なデータと固定されたノード順序の下で、ベイジアンネットワーク構造学習における条件付き独立性検定とスコアベース手法が数学的に同等であることを示している。具体的には、条件付き独立性検定に用いられる交差エントロピー測度が、モデルスコアリングに使われる対数スコア差に等しいことが示され、文脈的に別個のものと見なされてきた2つのアプローチが統合された。

ABSTRACT

It is often stated in papers tackling the task of inferring Bayesian network structures from data that there are these two distinct approaches: (i) Apply conditional independence tests when testing for the presence or otherwise of edges; (ii) Search the model space using a scoring metric. Here I argue that for complete data and a given node ordering this division is a myth, by showing that cross entropy methods for checking conditional independence are mathematically identical to methods based upon discriminating between models by their overall goodness-of-fit logarithmic scores.

研究の動機と目的

• ベイジアンネットワーク構造学習における条件付き独立性検定とスコアベース手法が本質的に異なる手法であるという長年の認識を解消すること。
• 条件付き独立性検定に用いられる交差エントロピー測度とモデル選択に使われる対数スコアメトリクスの間の明示的な数学的関係を確立すること。
• 完全なデータと固定されたノード順序の下で、両手法が同一のモデル選択結果をもたらすことを示すこと。
• 制約ベースとスコアベース学習パラダイムの関係について、文献における概念的混乱を解消すること。

提案手法

• 論文は、条件付き独立性検定に用いられる交差エントロピー測度とモデル比較に使われる対数スコアの間の数学的同等性を分析する。
• 条件付き独立性検定の検定統計量と、2つのモデル間の対数尤度スコアの差との関係を導出する。
• 構造空間を単純化するため、完全なデータと固定されたノード順序の仮定の下で分析を実施する。
• 情報理論的原則を用いて、条件付き独立性に基づくエッジの追加意思決定が、より良い対数スコアを持つモデルの選択と同等であることを示す。
• 隣接するモデル間で、交差エントロピー差の符号と対数スコア差の符号が一致することを示すことで、同等性を証明する。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性検定とスコアベース手法が同一のベイジアンネットワーク構造を生成する条件は何か？
• RQ2 条件付き独立性検定に使われる検定統計量とモデル選択に使われるスコアの間に数学的関係はあるか？
• RQ3 完全なデータと固定されたノード順序の文脈において、制約ベースとスコアベース学習の同等性を形式的に確立できるか？
• RQ4 これらの2つの手法が本質的に異なるものだとされる文献の持続的認識は、特定の条件下で数学的に同等であるにもかかわらず、なぜ根強く存在するのか？

主な発見

• 完全なデータと固定されたノード順序の下で、交差エントロピー測度を用いた条件付き独立性検定は、対数スコアメトリクスによるモデル選択と数学的に同等である。
• 条件付き独立性に基づいてベイジアンネットワークに有向エッジを含める意思決定は、2つの候補構造のうち対数スコアが高い方を選択することと同一である。
• この同等性は、2つのモデル間の交差エントロピー差が、それらの対数スコア差に正確に一致するため成立する。
• この結果は、2つの手法が本質的に異なるのではなく、同じ統計的意思決定プロセスの2つの異なる視点であるということを示唆する。