[論文レビュー] A Hybrid Algorithm to Compute Marginal and Joint Beliefs in Bayesian Networks and Its Complexity

Mark Bloemeke, Marco Valtorta|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 10被引用数 14

ひとこと要約

この論文は、非逐次動的プログラミングとクリークツリー構造を組み合わせることで、ベイジアンネットワークにおける周辺確信と結合確信の両方を効率的に計算するハイブリッドアルゴリズムを提示する。重複するNP困難な手順を回避することで計算複雑性を低減し、最適探索問題（OFP）のNP困難性を確認するとともに、JensenとJensenの単一のNP困難なセットアップ段階に関する仮説を検証する。

ABSTRACT

There exist two general forms of exact algorithms for updating probabilities in Bayesian Networks. The first approach involves using a structure, usually a clique tree, and performing local message based calculation to extract the belief in each variable. The second general class of algorithm involves the use of non-serial dynamic programming techniques to extract the belief in some desired group of variables. In this paper we present a hybrid algorithm based on the latter approach yet possessing the ability to retrieve the belief in all single variables. The technique is advantageous in that it saves a NP-hard computation step over using one algorithm of each type. Furthermore, this technique re-enforces a conjecture of Jensen and Jensen [JJ94] in that it still requires a single NP-hard step to set up the structure on which inference is performed, as we show by confirming Li and D'Ambrosio's [LD94] conjectured NP-hardness of OFP.

研究の動機と目的

• 周辺確信と結合確信の両方を、別々の手法よりも効率的に計算する統合アルゴリズムの開発。
• 複数回のNP困難な演算を回避することで、推論の計算オーバーヘッドを低減すること。
• JensenとJensenの仮説、すなわち推論構造のセットアップにたった一度のNP困難なステップで十分であることを検証すること。
• LiとD'Ambrosioが予想したように、最適探索問題（OFP）のNP困難性を確認すること。
• 非逐次動的プログラミングとクリークツリー技術を統合し、推論性能を向上させること。

提案手法

• アルゴリズムは、非逐次動的プログラミング手法とクリークツリー構造を組み合わせて確信を計算する。
• 一回のNP困難な事前処理ステップを用いて、効率的な確信計算を可能にする構造を構築する。
• この手法により、すべての個々の変数の確信だけでなく、選択された変数集合の結合確信の抽出が可能になる。
• 結合確信計算には非逐次動的プログラミングの効率性を活用するとともに、単一変数の周辺確信の取得能力を維持する。
• 同じ理論的保証を維持することで、従来の正確な推論手法と整合性を保つ。
• OFPのNP困難性を確認し、先行研究の予想と整合する。

実験結果

リサーチクエスチョン

• RQ1 重複するNP困難な計算を繰り返さずに、ベイジアンネットワークにおける周辺確信と結合確信の両方を効率的に計算できる単一のアルゴリズムは存在するか？
• RQ2 非逐次動的プログラミングとクリークツリー手法を統合したハイブリッド推論フレームワークを構築することは可能か？
• RQ3 JensenとJensenの予想通り、構造セットアップにたった一つのNP困難ステップで十分か？
• RQ4 最適探索問題（OFP）の計算複雑性は何か？ かつ、以前の予想通りNP困難であるか？
• RQ5 別々のアルゴリズムを周辺確信と結合確信の計算に別々に使用する場合と比較して、ハイブリッドアプローチは全体の推論コストを低減できるか？

主な発見

• ハイブリッドアルゴリズムは、一回のNP困難な事前処理ステップを用いて、周辺確信と結合確信の両方を効率的に計算できた。
• 同じ推論構造を複数の確信クエリに再利用することで、重複するNP困難な演算を回避した。
• 論文は、最適探索問題（OFP）のNP困難性を確認し、LiとD'Ambrosioの予想を支持した。
• アルゴリズムは、JensenとJensenの予想、すなわち推論構造のセットアップにたった一つのNP困難ステップで十分であるという仮説を検証した。
• 従来の別々のアルゴリズム的手法と比較して、理論的正確性を保ちながら計算効率を向上させた。
• ハイブリッド手法は、非逐次動的プログラミングとクリークツリーに基づく推論の長所を統合する統一フレームワークを提供した。