[論文レビュー] A Parallel Algorithm for Exact Bayesian Structure Discovery in Bayesian Networks

Yetian Chen, Jin Tian+2 more|arXiv (Cornell University)|Aug 7, 2014

Bayesian Modeling and Causal Inference参考文献 20被引用数 3

ひとこと要約

本稿では、動的計画法の部分問題のハイパーキューブ構造を活用することで、最適なメモリ使用量とほぼ最適な実行時間効率を達成する並列アルゴリズムParaREBELを提案する。この手法は最大2048プロセッサでスケーラブルであり、33変数のデータセットにおいてイースト・フェロモン応答経路を正確に同定し、大規模なベイジアンネットワークにおけるすべてのエッジの正確な事後確率計算の最初の実用的ソリューションを示している。

ABSTRACT

Exact Bayesian structure discovery in Bayesian networks requires exponential time and space. Using dynamic programming (DP), the fastest known sequential algorithm computes the exact posterior probabilities of structural features in $O(2(d+1)n2^n)$ time and space, if the number of nodes (variables) in the Bayesian network is $n$ and the in-degree (the number of parents) per node is bounded by a constant $d$. Here we present a parallel algorithm capable of computing the exact posterior probabilities for all $n(n-1)$ edges with optimal parallel space efficiency and nearly optimal parallel time efficiency. That is, if $p=2^k$ processors are used, the run-time reduces to $O(5(d+1)n2^{n-k}+k(n-k)^d)$ and the space usage becomes $O(n2^{n-k})$ per processor. Our algorithm is based the observation that the subproblems in the sequential DP algorithm constitute a $n$-$D$ hypercube. We take a delicate way to coordinate the computation of correlated DP procedures such that large amount of data exchange is suppressed. Further, we develop parallel techniques for two variants of the well-known \emph{zeta transform}, which have applications outside the context of Bayesian networks. We demonstrate the capability of our algorithm on datasets with up to 33 variables and its scalability on up to 2048 processors. We apply our algorithm to a biological data set for discovering the yeast pheromone response pathways.

研究の動機と目的

• ベイジアンネットワークにおける正確な構造同定の計算ボトル neck を解消すること。これは指数的時間および空間計算量に起因する。
• 25変数を超えるネットワークに対して特に顕著なメモリ使用量の制限に直面する、逐次的動的計画法アルゴリズムの限界を克服すること。
• すべての構造的特徴の事後確率を正確に計算しながら、実行時間とプロセッサあたりのメモリ使用量を削減するスケーラブルな並列アルゴリズムを開発すること。
• 構造学習が不可欠な大規模な生物学的データセット、例えばイースト・フェロモン応答経路のような因果関係の実用的同定を可能にすること。
• 並列プロセス間の過剰なデータ送信を抑制し、相関する動的計画法計算を効率的に調整する方法を設計すること。

提案手法

• ベイジアン構造同定の動的計画法部分問題をn次元ハイパーキューブとして表現し、内在する並列性を活用する。
• 相関するDP手順間の遷移時にプロセス間データ転送を最小限に抑える、新しい調整戦略を導入する。
• アルゴリズムの効率性の根幹をなすzeta変換の変種を計算する2つの新しい並列技術を開発する。
• プロセッサ数を $ p = 2^k $ とすることで、$ O(5(d+1)n2^{n-k} + k(n-k)^d) $ の実行時間と、プロセッサあたり $ O(n2^{n-k}) $ のメモリ使用量を達成し、ほぼ最適な並列時間と最適なメモリ効率を実現する。
• 標準（構造モジュラー）事前分布下で、ベイジアンネットワークのすべての $ n(n-1) $ エッジの正確な事後確率を計算する。順序モジュラー事前分布の制限を回避する。
• 外部ストレージへの依存を減らすために、共有メモリ並列処理と効率的なメモリ管理を組み合わせたハイブリッドアプローチを用いてアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 並列計算を用いて、30変数以上の大きなネットワークにおける正確なベイジアン構造同定をスケーリング可能か？
• RQ2 構造同定における動的計画法の指数的空間計算量を、並列化によって効果的に低減できるか？
• RQ3 通信オーバーヘッドを最小限に抑えるために、並列環境下で複数の相関する動的計画法計算を最適に調整する方法は何か？
• RQ4 正確なベイジアン構造同定において、ほぼ最適な並列時間と最適なメモリ効率を同時に達成できるか？
• RQ5 アルゴリズムは、ドメイン制約なしに高次元データから既知の生物学的制御経路をどの程度正確に回復できるか？

主な発見

• 2048コアを用いて1542秒で33変数の生物学的データセットにおける1056本のすべての潜在的エッジの正確な事後確率を計算し、正確な構造同定の新記録を樹立した。
• ParaREBELアルゴリズムは、$ p = 2^k $ プロセッサを用いて $ O(5(d+1)n2^{n-k} + k(n-k)^d) $ の実行時間で動作し、ほぼ最適な並列時間効率を示した。
• プロセッサあたりのメモリ使用量は $ O(n2^{n-k}) $ にまで低減され、25変数を超えるスケーリングにおいて極めて重要な最適なメモリ効率を達成した。
• イースト・フェロモン応答経路のネットワークモデルは、事後確率が0.1以上のエッジを用いて構築され、60エッジのDAGを形成し、生物学的に関連する変数の強いクラスタリングを示した。
• このネットワーク構造は、先行研究で知られている制約付きモデルに非常に近く、事後確率に基づくモデリングが、グリーディーやシミュレーテッドアニーリング法よりも真の生物学的関係をより正確に捉えられることを示唆している。
• アルゴリズムは最大2048プロセッサでスケーラブルであり、証明可能な効率保証を持つ、正確なベイジアン構造同定の最初の実用的並列ソリューションである。