[論文レビュー] Exploring Parallelism in Learning Belief Networks

T.-C. Chu, Yang Xiang|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用数 3

ひとこと要約

本論文は、複数のプロセッサに学習タスクを分散させることで、多リンク先読み検索の計算複雑性を克服する並列アルゴリズムを提案する。大規模データセットにおいて、負荷分散を可能にし、遅いファイルI/Oを高速なメモリアクセスに置き換えることで、並列コンピュータシステム上で顕著な高速化と効率向上を達成する。

ABSTRACT

It has been shown that a class of probabilistic domain models cannot be learned correctly by several existing algorithms which employ a single-link look ahead search. When a multi-link look ahead search is used, the computational complexity of the learning algorithm increases. We study how to use parallelism to tackle the increased complexity in learning such models and to speed up learning in large domains. An algorithm is proposed to decompose the learning task for parallel processing. A further task decomposition is used to balance load among processors and to increase the speed-up and efficiency. For learning from very large datasets, we present a regrouping of the available processors such that slow data access through file can be replaced by fast memory access. Our implementation in a parallel computer demonstrates the effectiveness of the algorithm.

研究の動機と目的

• 信念ネットワーク学習における多リンク先読み検索の高い計算複雑性に対処すること。
• ファイルI/Oのボトル neck を軽減するメモリベースのデータアクセスにより、非常に大規模なデータセットからの効率的な学習を可能にすること。
• プロセッサ間の負荷分散を改善することで、スループットとアルゴリズム効率を最大化すること。
• 確率的グラフィカルモデルの学習において正しさを保ちながら、スケーラブルな並列フレームワークを構築すること。

提案手法

• アルゴリズムは信念ネットワーク学習タスクを並列実行可能なサブタスクに分解して、計算負荷を分散する。
• 2段階目のタスク分解を適用し、プロセッサ間での作業負荷のバランスを最適化する。
• 大規模データセットでは、プロセッサを再グループ化して、遅いファイルベースのデータアクセスを高速なメモリアクセスに置き換える。
• 並列コンputingアーキテクチャを活用して、複数のノードで同時に学習プロセスを実行する。
• 全体の実行時間を短縮しつつ、多リンク先読み検索の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 信念ネットワーク学習における多リンク先読み検索の計算コストを低減するために、並列処理をどのように効果的に活用できるか。
• RQ2 分散信念ネットワーク学習において、負荷分散とスループットを最大化するタスク分解戦略は何か。
• RQ3 並列環境下でメモリベースのデータアクセスを用いることで、大規模学習におけるI/Oボトル neck をどのように軽減できるか。
• RQ4 提案された並列アルゴリズムは、大規模データセットにおいて、学習の効率性とスケーラビリティをどの程度向上させるか。

主な発見

• 提案された並列アルゴリズムは、逐次的手法と比較して信念ネットワーク学習における顕著な高速化を達成する。
• タスク分解による負荷分散は、学習プロセスの効率性とスケーラビリティを向上させる。
• ファイルベースI/Oをメモリベースアクセスに置き換えることで、データアクセス遅延が低減し、大規模データセットでのパフォーマンスが向上する。
• 多リンク先読み検索でさえも、正しさが保たれる。これは、単一リンク手法では常に達成できるわけではない。