[論文レビュー] Structure Variability in Bayesian Networks

Marco Scutari|arXiv (Cornell University)|Sep 9, 2009

Bayesian Modeling and Causal Inference参考文献 23被引用数 4

ひとこと要約

本稿では、ベイジアンネットワークの構造のばらつきを評価する統計的フレームワークを提案する。非有向スケルトンを多次元ベルヌーイ確率変数としてモデル化し、エッジ存在のパラメトリックおよびモンテカルロ検定を用いることで、ネットワーク構造の安定性に関する正確かつ漸近的推論が可能となり、アークおよび部分構造の信頼性測度が得られる。主な結果として、最大エントロピー仮定下でエッジの独立性と分散の上限が成立することが示された。

ABSTRACT

The structure of a Bayesian network encodes most of the information about the probability distribution of the data, which is uniquely identified given some general distributional assumptions. Therefore it's important to study the variability of its network structure, which can be used to compare the performance of different learning algorithms and to measure the strength of any arbitrary subset of arcs. In this paper we will introduce some descriptive statistics and the corresponding parametric and Monte Carlo tests on the undirected graph underlying the structure of a Bayesian network, modeled as a multivariate Bernoulli random variable.

研究の動機と目的

• 実世界のデータにおいて真の構造が不明であるため、ベイジアンネットワーク構造に対する信頼性の高い信頼区間測度が不足しているという問題に対処すること。
• 学習アルゴリズムを対象として、ネットワーク構造のばらつきを定式化する原理的統計的手法を開発すること。
• パラメトリックおよびモンテカルロ検定を用いて、アーク存在と部分構造の安定性に関する推論を可能にすること。
• 多次元ベルヌーイモデルに基づくネットワーク構造のばらつきに関する正確および漸近的統計的検定を提供すること。
• 経験的ブートストラップ確率の限界を克服し、解析的に根拠を持つ有意水準を導出すること。

提案手法

• ベイジアンネットワークの非有向グラフ構造を、各成分がエッジの存在（1）または非存在（0）を表す多次元ベルヌーイ確率変数ベクトルとしてモデル化する。
• エッジ発生の周辺確率および同時確率をパrameterとして用い、一次および二次のモーメントから分布の積率を導出する。
• 分散、一般化分散、および共分散行列のフロベニウスノルムに基づき、構造のばらつきに関する正確および漸近的検定統計量を導出する。
• 既知の共分散構造を用いたパラメトリックブートストラップを適用し、エッジ構成に関する仮説のp値を計算する。
• エッジの独立性を帰無仮説とするもとで、検定統計量の標本分布をモンテカルロシミュレーションにより推定する。
• 有限標本バイアスの補正を施したカイ二乗分布およびガンマ分布を用いて、分散に基づく検定統計量の有意水準を推定する。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップ標本間におけるベイジアンネットワーク構造のばらつきを形式的にどのように定量できるか？
• RQ2 ベイジアンネットワークにおける個々のアークまたは部分構造の有意性を評価する統計的検定はどのように導出できるか？
• RQ3 ブートストラップ分布において、ベイジアンネットワーク構造のエッジがどのような条件下で独立に振る舞うか？
• RQ4 全分散および一般化分散などの構造レベルのばらつき測度の正確および漸近的分布は何か？
• RQ5 ブートストラップに基づく信頼区間推定をどのように補正すれば、データ依存のしきい値問題を回避できるか？

主な発見

• 多次元ベルヌーイモデルは、ベイジアンネットワークスケルトンにおけるエッジ存在の同時分布を正確に捉え、形式的な統計的推論を可能にする。
• 最大エントロピー仮定下では、すべてのエッジが無相関となり、周辺確率は1/2、任意の2つの異なるエッジの同時確率は1/4となる。
• エッジ存在ベクトルの全分散は、すべてのエッジが等確率である場合に最大値 $ k^3/16 $ を示し、これは最大エントロピーに対応する。
• 最大エントロピー下での共分散行列の分散は $ k(k-1)^2/16 $ であり、構造のばらつきに対する理論的上限を提供する。
• パラメトリックブートストラップのシミュレーションにより、分散およびフロベニウスノルムに基づく検定統計量が有意水準の妥当なp値を生成することが示された。
• カイ二乗分布およびガンマ分布を用いた漸近的推論により、特に標本サイズが大きい場合に、検定統計量の正確な近似が得られる。