[論文レビュー] Learning networks determined by the ratio of prior and data

Maomi Ueno|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用数 33

ひとこと要約

この論文はベイジアンネットワーク学習における周辺尤度スコアを分析し、ディリクレ事前分布における等価標本サイズ（ESS）と実際の標本サイズの比が、弧を追加するためのペナルティを決定することを示している。主な発見は、ESSが高くなるほど弧の数が単調に増加し、ESSが低くなるほど減少することであり、事前知識の調整によってさまざまなスコア指標が統一されることを示している。

ABSTRACT

Recent reports have described that the equivalent sample size (ESS) in a Dirichlet prior plays an important role in learning Bayesian networks. This paper provides an asymptotic analysis of the marginal likelihood score for a Bayesian network. Results show that the ratio of the ESS and sample size determine the penalty of adding arcs in learning Bayesian networks. The number of arcs increases monotonically as the ESS increases; the number of arcs monotonically decreases as the ESS decreases. Furthermore, the marginal likelihood score provides a unified expression of various score metrics by changing prior knowledge.

研究の動機と目的

• 等価標本サイズ（ESS）で測定される事前分布の強さが、ベイジアンネットワーク構造学習に果たす役割を理解すること。
• ESSとデータ標本サイズの比が周辺尤度スコアおよび弧の追加ペナルティに与える影響を分析すること。
• 事前分布とデータの比を調整することで、さまざまなベイジアンスコア指標を一つの式で統一すること。
• 異なる事前分布とデータ条件の下での周辺尤度スコアの漸近的分析を提供すること。

提案手法

• ベイジアンネットワークの周辺尤度スコアについての漸近的分析を実施する。
• 弧を追加するペナルティを、ESSと標本サイズの比の関数として導出する。
• 条件付き確率分布における事前知識をモデル化するために、ESSを用いたディリクレ事前分布を用いる。
• 事前分布の強さをデータサイズに対して調整することで、さまざまなスコア指標が一様に表現できることを示す。
• ESS/標本サイズ比と学習された弧の数の間の単調な関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 事前分布における等価標本サイズ（ESS）と実際のデータ標本サイズの比は、ベイジアンネットワーク学習における周辺尤度スコアにどのように影響するか？
• RQ2 ESS/データ比と弧を追加するペナルティとの間の関数的関係は何か？
• RQ3 事前分布とデータの比を調整することで、さまざまなベイジアンスコア指標を一つの定式化で統一できるか？
• RQ4 ESS/標本サイズ比が変化する際、学習された弧の数はどのように変化するか？

主な発見

• 等価標本サイズ（ESS）とデータ標本サイズの比が、ベイジアンネットワーク構造学習における弧の追加ペナルティを決定づける。
• 学習されたネットワークにおける弧の数は、ESSが高くなるにつれて単調に増加する。
• ESSが低くなると弧の数は単調に減少し、モデルの複雑さが直接制御されていることが示唆される。
• 周辺尤度スコアは、データサイズに対して事前知識を変化させることで、さまざまなスコア指標を統一的に表現できる。