[論文レビュー] Logarithmic Time Parallel Bayesian Inference

David M. Pennock|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 23被引用数 41

ひとこと要約

本稿では、並列ランダムアクセスマシン上で対数的時間計算量を達成する、ベイジアンネットワークにおける正確なベイジアン推論の並列アルゴリズムを提示する。n 個の変数と定数個の証拠変数を持つ多木構造ネットワークの場合、n プロセッサを用いて O(log n) 時間で実行可能である。一般のネットワークの場合、n プロセッサを用いると時間計算量が O(r^{3w} log n) にスケーリングされ、r^{3w}n プロセッサを用いると O(w log n) に低下する。ここで r は最大変数範囲、w は道徳化と三角形化後の誘導幅である。

ABSTRACT

I present a parallel algorithm for exact probabilistic inference in Bayesian networks. For polytree networks with n variables, the worst-case time complexity is O(log n) on a CREW PRAM (concurrent-read, exclusive-write parallel random-access machine) with n processors, for any constant number of evidence variables. For arbitrary networks, the time complexity is O(r^{3w}*log n) for n processors, or O(w*log n) for r^{3w}*n processors, where r is the maximum range of any variable, and w is the induced width (the maximum clique size), after moralizing and triangulating the network.

研究の動機と目的

• ベイジアンネットワークにおける正確なベイジアン推論に対して、対数的時間計算量を達成する並列アルゴリズムの開発。
• 大規模なベイジアンネットワークにおける正確な推論の計算的非効率性を、並列処理を活用することで解決すること。
• 並列実行モデル下での多木構造および一般のベイジアンネットワークに対する推論性能の最適化。
• ネットワーク変換後の誘導幅や変数範囲といった構造的性質を活用して、時間計算量を最小化すること。
• ネットワークサイズに比例するプロセッサ数を用いた CREW PRAM で、正確な推論を対数的時間で実行できることを示すこと。

提案手法

• 誘導幅 w を計算するために、ベイジアンネットワークを道徳化および三角形化することで変換し、その結果得られる誘導幅を算出する。
• 同時にアクセスを許可し、更新は排他的に実行する「CREW PRAM（並列読み込み、排他的書き込み）」に基づく並列計算モデルを採用する。
• 三角形化されたネットワークのジュンクションツリー表現を用いて、動的計画法により条件付き確率を並列に計算する。
• 潜在関数の計算をプロセッサに分散させる分割統治戦略を適用し、依存関係の深さを低減する。
• 証拠変数の数が定数であることに着目し、多木の場合の計算量の増加を制限する。
• 計算を対数的深さの計算木に構成することで、変数数 n に対して順序実行ステップ数を対数的時間に抑える。

実験結果

リサーチクエスチョン

• RQ1 並列計算を用いることで、ベイジアンネットワークにおける正確なベイジアン推論を対数的時間で行うことは可能か？
• RQ2 n プロセッサを用いた並列モデル下で、多木構造のベイジアンネットワークにおける正確な推論の時間計算量は何か？
• RQ3 一般のベイジアンネットワークにおける並列推論の時間計算量に、誘導幅と変数範囲はどのように影響するか？
• RQ4 並列マシン上で部分線形時間計算量を達成しつつ、正確な推論を維持できるか？
• RQ5 一般のベイジアンネットワークにおいて、プロセッサ数と時間計算量のトレードオフは何か？

主な発見

• n 個の変数と定数個の証拠変数を持つ多木構造ネットワークでは、n プロセッサを用いた CREW PRAM 上で、時間計算量が O(log n) に達成される。
• 一般のベイジアンネットワークでは、n プロセッサを用いる場合、時間計算量が O(r^{3w} log n) に低下する。ここで r は最大変数範囲、w は誘導幅である。
• r^{3w}n プロセッサを用いることで、時間計算量は O(w log n) に低下し、プロセッサ数と実行時間のトレードオフが明確に示された。
• 道徳化および三角形化後のネットワークから得られるジュンクションツリー構造を活用することで、正確な推論を維持している。
• 結果として、正確な推論が対数的時間に並列化可能であることが示され、従来の逐次的手法に比べてスケーラビリティが著しく向上した。
• 与えられた並列モデルにおいて、時間計算量が理論的下界に一致するため、本手法は時間計算量の観点で最適である。