[論文レビュー] Being Bayesian about Network Structure

Nir Friedman, Daphne Koller|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用数 267

ひとこと要約

本稿では、ネットワーク構造の代わりに変数の順序の上でマルコフ連鎖モンテカルロ（MCMC）を実行することにより、ベイジアンネットワーク構造の学習のための新しいベイジアンアプローチを提案する。各順序に整合するネットワークの指数関数的合計を活用することで、特徴の事後確率を効率的に計算し、滑らかな事後分布の形状を実現し、合成データおよび実データにおいて構造ベースのMCMCや非ベイジアンブートストラップ法を凌駆する。

ABSTRACT

In many domains, we are interested in analyzing the structure of the underlying distribution, e.g., whether one variable is a direct parent of the other. Bayesian model-selection attempts to find the MAP model and use its structure to answer these questions. However, when the amount of available data is modest, there might be many models that have non-negligible posterior. Thus, we want compute the Bayesian posterior of a feature, i.e., the total posterior probability of all models that contain it. In this paper, we propose a new approach for this task. We first show how to efficiently compute a sum over the exponential number of networks that are consistent with a fixed ordering over network variables. This allows us to compute, for a given ordering, both the marginal probability of the data and the posterior of a feature. We then use this result as the basis for an algorithm that approximates the Bayesian posterior of a feature. Our approach uses a Markov Chain Monte Carlo (MCMC) method, but over orderings rather than over network structures. The space of orderings is much smaller and more regular than the space of structures, and has a smoother posterior `landscape'. We present empirical results on synthetic and real-life datasets that compare our approach to full model averaging (when possible), to MCMC over network structures, and to a non-Bayesian bootstrap approach.

研究の動機と目的

• データが限られている場合のベイジアンネットワーク構造学習におけるモデル不確実性の課題に対処すること。
• MAPモデルに依存せず、あらゆる妥当なモデルを考慮してネットワーク特徴（例：エッジ）の事後確率を計算すること。
• ネットワーク構造の空間から変数の順序の空間にMCMCサンプリングを移行させることで、計算の効率性と事後分布の探索性を向上させること。
• ベイジアンネットワークにおける特徴の包含確率のより正確で頑健な推定を提供すること。

提案手法

• 動的計画法を用いて、固定された変数順序に整合するすべてのネットワークの和を効率的に処理することで、データと特徴の周辺尤度、および事後確率を計算する。
• 各順序が一連のDAG（有向無閉路グラフ）を誘導することを活用し、与えられた順序に対してそのすべてのDAGにおける事後確率の和を計算する。
• コアアルゴリズムは、変数順序の空間を探索するMCMCを用い、局所的スワップにより新たな順序を提案し、事後確率比に基づいて受容または却下する。
• 特徴（例：エッジ）の事後確率は、すべてのサンプリングされた順序における寄与を、それらの事後確率で重み付けして集約することで推定する。
• 全ネットワーク構造の高次元的かつ不規則な事後分布の形状を避けるために、順序空間の規則的かつ小さいサイズの特徴を活用する。
• すべての可能なネットワークの全平均化を必要とせず、特徴の事後確率を効率的に計算可能である。

実験結果

リサーチクエスチョン

• RQ1 データが限られている場合に、複数のネットワーク構造が妥当であるとされる中で、ネットワーク特徴（例：エッジ）の事後確率を効率的に計算する方法は何か？
• RQ2 変数の順序の上でのMCMCサンプリングは、ネットワーク構造の上でのサンプリングに比べ、より効果的かつ滑らかな事後分布の探索を可能にするか？
• RQ3 ベイジアンネットワーク構造学習において、順序をMCMCの状態空間として使用することによる計算的・統計的利点は何か？
• RQ4 本手法は、全モデル平均化や非ベイジアンブートストラップ手法と比較して、正確性と効率性の面で優れているか？
• RQ5 可能なネットワーク構造の数が指数関数的に増加する場合でも、本手法は特徴の包含確率を信頼性高く推定できるか？

主な発見

• 本手法は、特にデータが少ない状況下で、非ベイジアンブートストラップ法に比べて特徴の事後確率の推定が著しく優れている。
• 順序の上でのサンプリングは、構造の上でのサンプリングよりも滑らかな事後分布の形状をもたらし、収束が速く、MCMCの信頼性が向上する。
• 計算が可能である場合に、全モデル平均化の結果と密接に一致する正確な特徴の事後確率推定を提供する。
• 合成データおよび実世界のデータセットを用いた実験的評価により、本手法は構造ベースのMCMCよりも正確性と計算効率の両面で優れていることが示された。
• MCMCの状態空間として順序を使用することで、探索空間の次元数と不規則性が低減され、事後分布のより効果的な探索が可能になった。
• すべての可能なネットワークの列挙を必要とせず、中程度のサイズのネットワークに対してもスケーラブルに特徴の事後確率を計算できた。