[論文レビュー] Structured Priors for Structure Learning

Vikash K. Mansinghka, Charles Kemp+2 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 13

ひとこと要約

本論文は、変数をクラスにグループ化することで構造的事前分布をベイジアンネットワーク構造学習に組み込む非パrametricベイジアンモデルを提案する。エッジの確率は、変数のクラス関係にのみ依存する。MCMC推論を用いることで、ネットワーク構造、クラス割り当て、およびクラス数を同時に学習し、一様事前分布と比較して、小規模でスパースなデータセットにおいて、体系的な依存パターンを活用することで、著しく精度が向上する。

ABSTRACT

Traditional approaches to Bayes net structure learning typically assume little regularity in graph structure other than sparseness. However, in many cases, we expect more systematicity: variables in real-world systems often group into classes that predict the kinds of probabilistic dependencies they participate in. Here we capture this form of prior knowledge in a hierarchical Bayesian framework, and exploit it to enable structure learning and type discovery from small datasets. Specifically, we present a nonparametric generative model for directed acyclic graphs as a prior for Bayes net structure learning. Our model assumes that variables come in one or more classes and that the prior probability of an edge existing between two variables is a function only of their classes. We derive an MCMC algorithm for simultaneous inference of the number of classes, the class assignments of variables, and the Bayes net structure over variables. For several realistic, sparse datasets, we show that the bias towards systematicity of connections provided by our model yields more accurate learned networks than a traditional, uniform prior approach, and that the classes found by our model are appropriate.

研究の動機と目的

• 従来のベイジアンネットワーク構造学習の限界、すなわち、スパarsityのみを仮定し、依存関係に体系的な構造を欠いていることに対処すること。
• 現実世界のシステムにおける確率的依存関係を予測する、変数のグループ化に関するドメイン知識を組み込むこと。
• 小規模なデータセットから、クラス数、クラス割り当て、ネットワーク構造を同時に推論できる非パrametric生成モデルを開発すること。
• クラスベースの事前分布を用いてエッジ形成に体系性を組み込むことで、タイプの発見とより正確な構造学習を可能にすること。

提案手法

• 変数がクラスに割り当てられ、2つの変数間のエッジの事前確率が、それらのクラスにのみ依存する階層ベイジアンモデルを提案する。
• 未知でかつ無限に及ぶ可能性のあるクラス数を許容する非パrametric事前分布（特にディリクレ過程混合）を用いる。
• エッジの存在がクラスレベルのパrameterによって確率的に決定される、有向無閉路グラフ（DAG）の生成プロセスを定義する。
• 変数のクラス割り当て、クラス数、DAG構造を同時に推論するために、メトロポリス・ハスティングスMCMCアルゴリズムを採用する。
• 推論中に異なるクラス数と変数の割り当てを探索するために、逆転可能なジャンプMCMCの動きを実装する。
• エッジ確率がクラスレベルの親和度行列によって制御される条件付き確率モデルを定義し、体系的な依存パターンを可能にする。

実験結果

リサーチクエスチョン

• RQ1 変数のクラスに基づく構造的事前分布は、一様事前分布と比較して、小規模なデータセットにおけるベイジアンネットワーク構造学習を改善できるか？
• RQ2 このモデルは、データから意味的で解釈可能な変数のクラスを効果的に発見できるか？
• RQ3 クラスベースのエッジ事前分布の導入により、従来のスパarsityのみを仮定する手法と比較して、より正確なネットワーク構造が得られるか？
• RQ4 このモデルの非パrametric性は、事前に指定されない真のクラス数に適応する能力をどの程度持っているか？
• RQ5 このモデルは、一貫性のある確率的枠組みの中で、同時にクラス数とネットワーク構造を推論できるか？

主な発見

• 提案手法は、いくつかの現実的でスパースなデータセットにおいて、ベースラインの一様事前分布手法と比較して、構造回復の精度が著しく高いことを示した。
• モデルは、ドメインの期待に一致する解釈可能で意味のある変数のクラスを効果的に発見し、有効なタイプ発見を示した。
• 構造的事前分布を用いた推論は、データが限られた場合でも、より安定的で妥当なネットワーク構造を生成した。
• モデルの非パrametric性のおかげで、事前に手動で指定する必要なく、最適なクラス数を自動的に特定できる。
• MCMC推論手順は、クラス割り当て、クラス数、DAG構造の連合空間を効果的に探索し、一貫性があり高品質な後験的サンプルを生成した。