[論文レビュー] Pruning Bayesian Networks for Efficient Computation

Michelle Baker, Terrance E. Boult|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference被引用数 31

ひとこと要約

本稿では、特定の変数のクエリ計算に関与しない無関係な部分構造を削除することで、計算複雑性を低下させつつ結果に影響を与えない前処理手法を提案する。エッジ数 e に対して O(e) 時間で最小の計算的に同等の部分グラフを構築することで、効率的な推論と並列処理を可能にする。最小性の理論的証明と、単一接続でないネットワークにおける実用的効果が得られる。

ABSTRACT

This paper analyzes the circumstances under which Bayesian networks can be pruned in order to reduce computational complexity without altering the computation for variables of interest. Given a problem instance which consists of a query and evidence for a set of nodes in the network, it is possible to delete portions of the network which do not participate in the computation for the query. Savings in computational complexity can be large when the original network is not singly connected. Results analogous to those described in this paper have been derived before [Geiger, Verma, and Pearl 89, Shachter 88] but the implications for reducing complexity of the computations in Bayesian networks have not been stated explicitly. We show how a preprocessing step can be used to prune a Bayesian network prior to using standard algorithms to solve a given problem instance. We also show how our results can be used in a parallel distributed implementation in order to achieve greater savings. We define a computationally equivalent subgraph of a Bayesian network. The algorithm developed in [Geiger, Verma, and Pearl 89] is modified to construct the subgraphs described in this paper with O(e) complexity, where e is the number of edges in the Bayesian network. Finally, we define a minimal computationally equivalent subgraph and prove that the subgraphs described are minimal.

研究の動機と目的

• 指定された変数のクエリ計算に寄与しないネットワーク部品を同定・削除すること。
• 特に単一接続でないネットワークにおけるベイジアンネットワーク推論の計算複雑性を低減すること。
• 標準的な推論アルゴリズムの実行を高速化できる前処理ステップを開発すること。
• 関連する部分ネットワークを分離することで、並列および分散処理の実装を支援すること。
• 得られた計算的に同等の部分グラフの最小性を形式的に定義し、証明すること。

提案手法

• 証拠が与えられたもとで、クエリ変数から d 分離されているすべてのノードおよびエッジを同定し、以降の計算から除外する。
• Geiger, Verma, and Pearl (1989) が提示したアルゴリズムの変更版を用いて、最小の計算的に同等の部分グラフを構築する。
• 刈り込み処理は、元のベイジアンネットワークのエッジ数 e に対して O(e) 時間で実行される。
• 得られた部分グラフは、クエリおよび証拠に関連するすべての条件付き確率計算を保持することが保証される。
• 独立した部分ネットワークを分離することで、並列分散処理を可能にする。
• 最小の計算的に同等の部分グラフを定義し、形式的解析を通じてその最小性を証明する。

実験結果

リサーチクエスチョン

• RQ1 特定の変数および証拠のセットに対して、ベイジアンネットワークのどの部分を安全に削除してもクエリ結果に影響を与えないか。
• RQ2 計算複雑性を低減しつつ推論の正しさを保つために、ベイジアンネットワークをどのように前処理できるか。
• RQ3 元のネットワークと同一の推論を可能にする最小の部分グラフを構築する計算複雑性は何か。
• RQ4 刈り込み手法は、並列または分散コンピューティング環境で効果的に適用可能で、性能向上に寄与するか。
• RQ5 得られた部分グラフは、クエリ計算を保持するために必要なノード数およびエッジ数の観点で最小であるか。

主な発見

• 提案手法により、O(e) 時間で計算的に同等の部分グラフが構築され、前処理のオーバーヘッドが顕著に低減される。
• 得られた部分グラフは最小性が保証されており、クエリ結果を変更せずにさらにエッジやノードを削除することは不可能である。
• 特に再帰的冗長性が顕著な非単一接続ベイジアンネットワークでは、顕著な計算リソースの節約が達成される。
• 独立した部分ネットワークを分離することで、効率的な並列および分散推論が可能になる。
• Geiger ら (1989) の先行研究を一般化し、実用的推論タスクにおける複雑性低減と明示的な関連付けを確立する。