[論文レビュー] Efficient Sampling and Structure Learning of Bayesian Networks

Jack Kuipers, Polina Suter+1 more|arXiv (Cornell University)|Mar 21, 2018

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

この論文は、制約ベースのフィルタリングと高速なテーブルルックアップベースのMCMCサンプリングを組み合わせたハイブリッドMCMC手法を導入し、効率的なベイジアンネットワーク構造学習を実現する。親集合のポセット構造と再帰的ベクタ集約を活用することで、カテゴリカルデータに対してスコア計算の複雑さをO(max{KN, 3^K})に低減し、従来に比べてより大きなネットワークでもスケーラブルな事後分布サンプリングと完全なベイジアンモデル平均化を可能にする。

ABSTRACT

Bayesian networks are probabilistic graphical models widely employed to understand dependencies in high dimensional data, and even to facilitate causal discovery. Learning the underlying network structure, which is encoded as a directed acyclic graph (DAG) is highly challenging mainly due to the vast number of possible networks in combination with the acyclicity constraint. Efforts have focussed on two fronts: constraint-based methods that perform conditional independence tests to exclude edges and score and search approaches which explore the DAG space with greedy or MCMC schemes. Here we synthesise these two fields in a novel hybrid method which reduces the complexity of MCMC approaches to that of a constraint-based method. Individual steps in the MCMC scheme only require simple table lookups so that very long chains can be efficiently obtained. Furthermore, the scheme includes an iterative procedure to correct for errors from the conditional independence tests. The algorithm offers markedly superior performance to alternatives, particularly because DAGs can also be sampled from the posterior distribution, enabling full Bayesian model averaging for much larger Bayesian networks.

研究の動機と目的

• DAGの数が超指数関数的に増加し、サイクル制約が課されるため、ベイジアンネットワーク構造学習が計算的に困難になる問題に対処すること。
• MCMCベースの構造学習の複雑さを制約ベースの手法と同等に抑えつつ、事後分布サンプリングによる完全なベイジアン推論を維持すること。
• 特に高次元の連続的およびカテゴリカルデータに対して、DAG上での効率的な事後分布サンプリングを実現し、モデル平均化を可能にすること。
• MCMCスキーム内で反復的リファインメント手順を用いて、条件付き独立性検定の誤りを是正すること。

提案手法

• 親集合のポセット構造（完全な集合から空集合まで）を用い、再帰的ベクタ集約により、すべての可能な親構成のBDeスコアを効率的に計算する。
• 各ノード-親構成に対して、バイナリインデキング（式31）を用いて親状態をマッピングすることで、O(KN)時間で十分統計量（カウントベクタ）を計算する。
• スコア値は、上位（完全な親集合）から下位（空集合）へ層別に再帰的ベクタ結合により計算する（式32）ことで、O(K4^K)からO(3^K)の複雑さに低減する。
• MCMCサンプラーは、スコア差分のテーブルルックアップのみを用いてDAG空間上で局所的移動を実行し、非常に長いチェインを効率的に生成可能である。
• 反復的補正手順により、初期スケルトンを条件付き独立性検定の誤りから改善し、誤差が生じる状況でも精度を高める。
• 本手法はMAP構造の同定と完全な事後分布サンプリングの両方をサポートしており、より大きなネットワークにおけるベイジアンモデル平均化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MCMCベースのベイジアンネットワーク構造学習を、後続の事後分布サンプリング能力を損なわずに、制約ベースの手法と同等に効率化できるか？
• RQ2 親集合ポセットの構造的性質を活用することで、すべての親集合に対するスコア計算の複雑さをO(K4^K)からO(3^K)に低減できるか？
• RQ3 条件付き独立性検定の誤りに対する反復的補正が、高次元設定における構造学習の正確性を向上させるか？
• RQ4 従来のMCMCでは不可能だった、より大きなネットワークにおけるDAG上での効率的な事後分布サンプリングが可能か？

主な発見

• 提案手法により、カテゴリカルデータのスコア計算の複雑さがO(K4^K)からO(max{KN, 3^K})に低減され、特にKが大きい設定で顕著な改善が得られた。
• 連続的データにBGeスコアを適用した場合、効率的なMCMCサンプリングが可能となり、従来では実行不可能だった大規模ネットワークにおける完全なベイジアンモデル平均化が実現された。
• ベンチマークデータセットでは、MAP構造同定に150秒、サンプリングに30秒の所要時間で、実用的なスケーラビリティを示した。
• 反復的補正手順により、条件付き独立性検定の誤りが効果的に是正され、構造的正確性が向上した。
• 式(32)による再帰的ベクタ集約の使用により、最小限のメモリオーバーヘッドで、すべての親集合構成における効率的なスコア計算が可能になった。