[論文レビュー] Bayesian Network Constraint-Based Structure Learning Algorithms: Parallel and Optimised Implementations in the bnlearn R Package

Marco Scutari|arXiv (Cornell University)|Jun 30, 2014

Bayesian Modeling and Causal Inference被引用数 40

ひとこと要約

本論文では、Rパッケージbnlearnにおける制約ベースのベイジアンネットワーク構造学習アルゴリズムの並列化および最適化された実装を提示し、並列処理がバックトラッキングよりも速度と安定性の面で優れていることを示している。著者らは、現代のマルチコアハードウェアが、最小限の速度向上しか得られないものの学習の安定性を低下させるバックトラッキングよりも、並列実行がより効率的であることを示している。

ABSTRACT

It is well known in the literature that the problem of learning the structure of Bayesian networks is very hard to tackle: its computational complexity is super-exponential in the number of nodes in the worst case and polynomial in most real-world scenarios. Efficient implementations of score-based structure learning benefit from past and current research in optimisation theory, which can be adapted to the task by using the network score as the objective function to maximise. This is not true for approaches based on conditional independence tests, called constraint-based learning algorithms. The only optimisation in widespread use, backtracking, leverages the symmetries implied by the definitions of neighbourhood and Markov blanket. In this paper we illustrate how backtracking is implemented in recent versions of the bnlearn R package, and how it degrades the stability of Bayesian network structure learning for little gain in terms of speed. As an alternative, we describe a software architecture and framework that can be used to parallelise constraint-based structure learning algorithms (also implemented in bnlearn) and we demonstrate its performance using four reference networks and two real-world data sets from genetics and systems biology. We show that on modern multi-core or multiprocessor hardware parallel implementations are preferable over backtracking, which was developed when single-processor machines were the norm.

研究の動機と目的

• 制約ベースのベイジアンネットワーク構造学習におけるバックトラッキングの計算非効率性と不安定性を解消すること。
• bnlearn Rパッケージにおける制約ベースアルゴリズム向けにスケーラブルな並列ソフトウェアアーキテクチャを構築すること。
• 現代のマルチコアシステム上で、並列実装がバックトラッキングを上回ることを実証すること。
• 多様なベイジアンネットワーク構造および実世界のデータセットを用いて、並列化のパフォーマンスとオーバーヘッドを評価すること。

提案手法

• ノード間の条件付き独立性検定を独立して実行できるようにすることで、制約ベースの構造学習アルゴリズムの愚鈍な並列実行を可能にするソフトウェアフレームワークの設計。
• 複数のコアやプロセッサに計算を分散させるために、parallelパッケージを用いてbnlearn Rパッケージにフレームワークを実装。
• 各ノードのマークオフ・ブランケットおよび近隣ノードに対して、条件付き独立性検定を独立して実行し、動的負荷分散と最小限の同期を実現。
• 標準的な検定（離散型BNでは相互情報量、ガウス型BNではスチューデントのt検定）を並列化形で使用し、アルゴリズムの一貫性を維持。
• データの変更を避けて通信および同期のオーバーヘッドを最小限に抑え、各スレーブプロセスが重複しない独立したタスクを処理するように保証。
• 遺伝学およびシステム生物学分野の4つの基準ベイジアンネットワークと2つの実世界データセットを用いてパフォーマンスを評価。

実験結果

リサーチクエスチョン

• RQ1 制約ベースの構造学習アルゴリズムの並列化は、バックトラッキングと比較してパフォーマンスと安定性を向上させるか？
• RQ2 並列化のオーバーヘッドは、プロセッサ数およびネットワークサイズに伴いどのように変化するか？
• RQ3 並列実装は、計算時間を短縮しつつも、逐次実装と同等の正確性を維持できるか？
• RQ4 現代のマルチコアハードウェアにおいて、実装の複雑さを上回るほど並列化によるパフォーマンス向上が顕著に現れるか？

主な発見

• bnlearnにおける並列実装は、バックトラッキングよりも速度と安定性の両面で優れており、後者は学習されたDAGの変動性を顕著に増大させる。
• 並列実行における観察された最大オーバーヘッドはわずか0.08にとどまり、実世界のデータにおいて最大20プロセスまで効率的なスケーリングが実現されている。
• 2コアでも並列実装は、速度と一貫性の面でバックトラッキングを上回っており、一般用途のハードウェアでも優れた選択肢である。
• フレームワークは逐次実装とアルゴリズム的に同等であり、同一の条件付き独立性検定が実行されていることを保証している。
• 離散型およびガウス型ベイジアンネットワークの両方で効率的なスケーリングが実現されており、広範な適用可能性を示している。
• 大規模ネットワークに対してもオーバーヘッドは低く保たれており、動的負荷分散と最小限の同期が有効であることが示されている。