[論文レビュー] Finding Optimal Bayesian Networks

David Maxwell Chickering, Christopher Meek|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 10被引用数 112

ひとこと要約

本稿では、漸近的一貫性を持つスコア基準を用いたグリーディなベイジアンネットワーク探索アルゴリズムが、より弱い合成性条件の仮定のもとで、包含最適なベイジアンネットワーク構造に収束することを確立している。主な貢献は、観察されない変数や選択バイアスが存在する場合でも、そのようなアルゴリズムが真の生成分布を含み、かつそれより小さい部分モデルを含まないモデルを同定できることの証明である。

ABSTRACT

In this paper, we derive optimality results for greedy Bayesian-network search algorithms that perform single-edge modifications at each step and use asymptotically consistent scoring criteria. Our results extend those of Meek (1997) and Chickering (2002), who demonstrate that in the limit of large datasets, if the generative distribution is perfect with respect to a DAG defined over the observable variables, such search algorithms will identify this optimal (i.e. generative) DAG model. We relax their assumption about the generative distribution, and assume only that this distribution satisfies the {em composition property} over the observable variables, which is a more realistic assumption for real domains. Under this assumption, we guarantee that the search algorithms identify an {em inclusion-optimal} model; that is, a model that (1) contains the generative distribution and (2) has no sub-model that contains this distribution. In addition, we show that the composition property is guaranteed to hold whenever the dependence relationships in the generative distribution can be characterized by paths between singleton elements in some generative graphical model (e.g. a DAG, a chain graph, or a Markov network) even when the generative model includes unobserved variables, and even when the observed data is subject to selection bias.

研究の動機と目的

• ベイジアンネットワーク構造学習における強力な「完全性」仮定を緩和すること。
• グリーディ探索アルゴリズムが包含最適モデルに収束する条件を確立すること。
• 合成性条件が、真の生成分布を含むモデルへの収束を保証することを示すこと。
• 観察されない変数や観測データの選択バイアスが存在する場合でも、合成性条件が成立することを示すこと。
• スコア基準の漸近的一貫性に関する先行研究を、より現実的なデータ生成過程にまで拡張すること。

提案手法

• 著者らは、ベイジアンネットワーク構造学習における包含最適性の必要十分条件として、合成性条件を定義している。
• 1つのエッジを一度に変更するグリーディ探索アルゴリズムを分析し、漸近的一貫性を持つスコア基準を用いている。
• 本手法は、合成性条件のもとで、任意の局所最適解が包含最適モデルに対応することを証明することに依存している。
• 証明技法は、DAG、チェーングラフ、マーカフネットワークを含むグラフィカルモデルにおける依存関係構造の分析に基礎を置いている。
• メーク（1997）とチッカーリング（2002）の先行研究を一般化し、完全性仮定の代わりに合成性条件を導入している。
• 合成性条件が満たされる限り、観察されない変数や選択バイアスがかかるデータに対しても、本フレームワークは適用可能である。

実験結果

リサーチクエスチョン

• RQ1 グリーディなベイジアンネットワーク探索アルゴリズムが、真の生成分布を含むモデルに収束するのはどのような条件下か？
• RQ2 生成分布がDAGに関して完全でない場合でも、最適モデルへの収束を保証できるか？
• RQ3 観察されない変数や観測データの選択バイアスが存在する場合でも、合成性条件は成立するか？
• RQ4 包含最適モデルへの収束を保証するための完全性より弱い条件は存在するか？
• RQ5 合成性条件のもとで、漸近的一貫性を持つスコア基準を用いて包含最適構造を同定できるか？

主な発見

• 漸近的一貫性を持つスコア基準を用いたグリーディ探索アルゴリズムは、合成性条件のもとで、包含最適なベイジアンネットワーク構造に収束する。
• 生成分布の依存関係がグラフィカルモデルにおける経路で表現可能な限り、合成性条件は満たされる（観察されない変数が存在しても含む）。
• 観測データに選択バイアスがかかる場合でも、合成性条件は成立する。
• アルゴリズムが同定する包含最適モデルは、真の生成分布を含み、かつそれより小さい部分モデルを含まない。
• 結果として、完全性仮定を緩和することで、先行研究を一般化し、より広範な現実世界の分野に理論的保証を適用可能にした。
• 合成性条件が満たされる限り、潜在的な交絡要因や選択バイアスがあるデータからの学習をサポートするフレームワークが構築された。