[論文レビュー] Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG

Polina Suter, Jack Kuipers+2 more|arXiv (Cornell University)|May 2, 2021

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

この論文は、効率的なマルコフ連鎖モンテカルロ（MCMC）手法を用いたベイジアンネットワークにおけるベイジアン構造学習およびサンプリングのためのBiDAG Rパッケージを紹介する。本研究では、PCアルゴリズムや事前知識による制約ベースの探索空間の縮小と、反復的順序MCMCおよびパーティションMCMCを組み合わせたハイブリッド手法を提案し、数百ノードの大きなネットワークにおいてもスケーラブルな推論を可能にする。主な貢献は、限られたデータでも正確で高速かつスケーラブルな事後分布サンプリングおよびMAP構造学習を可能にしたことであり、DAG同定において従来の手法を速度と精度の両面で上回っている。

ABSTRACT

The R package BiDAG implements Markov chain Monte Carlo (MCMC) methods for structure learning and sampling of Bayesian networks. The package includes tools to search for a maximum a posteriori (MAP) graph and to sample graphs from the posterior distribution given the data. A new hybrid approach to structure learning enables inference in large graphs. In the first step, we define a reduced search space by means of the PC algorithm or based on prior knowledge. In the second step, an iterative order MCMC scheme proceeds to optimize within the restricted search space and estimate the MAP graph. Sampling from the posterior distribution is implemented using either order or partition MCMC. The models and algorithms can handle both discrete and continuous data. The BiDAG package also provides an implementation of MCMC schemes for structure learning and sampling of dynamic Bayesian networks.

研究の動機と目的

• DAGの数が超指数関数的に増加するため、大規模ベイジアンネットワークにおけるベイジアン構造学習の計算上の非効率性に対処すること。
• 単一の最良グラフのみを探索する既存のツールの限界を克服すること。これは、小さなデータセットやノイズの多いデータセットではモデルの不確実性を正しく反映できない可能性があるため。
• 数百ノードのネットワークにスケーリング可能でありながら、正確性と収束速度を維持する効率的なMCMCアルゴリズムの開発。
• 離散データおよび連続データの両方を扱える柔軟でオープンソースのRパッケージの提供、動的ベイジアンネットワーク（DBN）への対応も含む。
• 事後分布サンプリングとモデル平均化を可能にし、誤検出エッジを低減し、構造同定の耐性を向上させること。

提案手法

• ハイブリッド構造学習アプローチを採用：まず、PCアルゴリズムや事前知識を用いて探索空間を縮小し、次に反復的順序MCMCで制限された空間を最適化してMAP DAGを特定する。
• 2つのMCMCスキームを実装：順序MCMC（ノード順序に基づく）とパーティションMCMC（ノード集合の分割に基づく）、両方とも事後分布からのサンプリングが可能。
• ノードごとに要因分解されるスコア関数を用いる：離散データにはBDe、連続データにはBGeを採用し、事前計算されたスコアテーブルにより計算を効率化。
• スコアテーブルの事前計算により、各MCMC提案のスコア計算の複雑性をO(n^{K+1})からO(n² log n)に削減し、大規模ネットワークでも実行可能にする。
• 収束診断ツールの導入とエッジの事後確率に基づくモデル平均化を実装。事後確率が0.5を超えるエッジのみを保持することで、誤検出エッジを低減。
• 1階の動的ベイジアンネットワーク（DBN）をサポートし、Rgraphvizおよびgraphパッケージを介した可視化ツールも提供。

実験結果

リサーチクエスチョン

• RQ1 制約ベースの探索空間縮小と反復的順序MCMCを組み合わせたハイブリッドMCMCアプローチは、大規模ネットワークにおけるDAG構造学習をより高速かつ正確に達成できるか？
• RQ2 順序MCMCおよびパーティションMCMCによる事後分布サンプリングは、PCやGESのような単一構造手法と比較して、精度と誤検出制御の面で優れているか？
• RQ3 エッジの事後確率（例：0.5以上）を用いることで、MAPグラフに依存するのと比較して、誤検出を低減し、モデル選択をどの程度改善できるか？
• RQ4 順序MCMCおよびパーティションMCMCの性能は、ネットワークサイズや親集合サイズ（K）の増加に伴いどのようにスケーリングするか、特にKが大きい場合に注目。
• RQ5 BiDAGパッケージは、限られたサンプルサイズの実世界の生物学的データ（例：がん亜タイプ）から構造を効果的に学習・サンプリングできるか？

主な発見

• 反復的順序MCMCスキームは、PC や GES といった既存手法と比較して、ノイズが多いまたはスパースなデータ条件下でも収束が速く、真のDAGをより正確に回復する。
• パーティションMCMCを用いた事後分布サンプリングとエッジのしきい値処理（事後確率 > 0.5）により、誤検出エッジが顕著に低減されつつ、真の正例の大部分が保持され、単一のMAPグラフ選択を上回る性能を示した。
• n = 100ノードのネットワークにおいて、スコアテーブルの事前計算によりMCMCの複雑性がO(n^{K+1})からO(n² log n)に低下し、Kが14まででも実行可能となった。
• K > 7ではスコアテーブルの計算に時間がかかるようになるが、実世界のネットワークは一般的にスパース（平均親集合サイズ1.4）であるため、多くの応用に実用的である。
• KIRPおよびKIRCのがん亜タイプの応用において、コンSENSUSグラフ（事後エッジ確率に基づく）は既知の生物学的相互作用を回復し、CCBL2–R3HDM1のような新しいエッジを特定し、生物学的妥当性を示した。
• このパッケージにより、数百ノードのネットワークにおける事後分布サンプリングとモデル平均化が可能となり、大規模ベイジアンネットワークにおけるスケーラブルなベイジアン構造学習を実現する最初のRパッケージとなった。