[論文レビュー] Loopy Belief Propagation in Bayesian Networks : origin and possibilistic perspectives

Amen Ajroud, Mohamed Nazih Omri+2 more|arXiv (Cornell University)|Jun 5, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 3

ひとこと要約

この論文はベイジアンネットワークにおけるループ付き信念伝播（LBP）を調査し、収束性と精度を向上させるために、可能性理論的フレームワークへの適応を提案する。確率的推論を可能性理論的因果ネットワークに変換することで、LBPの振動的挙動を軽減し、特にQMRのような困難なネットワークにおける近似品質を向上させることを目的としている。

ABSTRACT

In this paper we present a synthesis of the work performed on two inference algorithms: the Pearl's belief propagation (BP) algorithm applied to Bayesian networks without loops (i.e. polytree) and the Loopy belief propagation (LBP) algorithm (inspired from the BP) which is applied to networks containing undirected cycles. It is known that the BP algorithm, applied to Bayesian networks with loops, gives incorrect numerical results i.e. incorrect posterior probabilities. Murphy and al. [7] find that the LBP algorithm converges on several networks and when this occurs, LBP gives a good approximation of the exact posterior probabilities. However this algorithm presents an oscillatory behaviour when it is applied to QMR (Quick Medical Reference) network [15]. This phenomenon prevents the LBP algorithm from converging towards a good approximation of posterior probabilities. We believe that the translation of the inference computation problem from the probabilistic framework to the possibilistic framework will allow performance improvement of LBP algorithm. We hope that an adaptation of this algorithm to a possibilistic causal network will show an improvement of the convergence of LBP.

研究の動機と目的

• ループを含むベイジアンネットワークにおけるループ付き信念伝播（LBP）の不安定性と収束不能性を解消する。
• QMR（クイックメディカルリファレンス）ネットワークを含む複雑なネットワークにおけるLBPの振動的挙動を克服する。
• 確率的推論から可能性的推論に移行することで、事後確率の近似精度を向上させる。
• 可能性理論的因果ネットワークがLBPの性能向上に寄与する可能性を検討する。
• 確率的および可能性的フレームワークにおける信念伝播の理論的・実用的統合を提供する。

提案手法

• 木構造でないベイジアンネットワーク（多木構造）からループ付きネットワークへのペルの信念伝播（BP）アルゴリズムの適応。
• ループを含むネットワークにループ付き信念伝播（LBP）アルゴリズムを適用し、発散または振動する傾向があることを認識する。
• 不確実性への感受性を低減し収束性を向上させるために、確率的推論問題を可能性理論的フレームワークに翻訳する。
• 標準的なベイジアンネットワークの構造的・計算的代替手段として、可能性理論的因果ネットワークを活用する。
• 確率的設定と可能性的設定におけるLBPの性能を比較し、収束性と近似品質を評価する。
• マーフィらのLBPの特定ネットワークにおける収束性に関する知見を活用し、可能性的適応の設計を支援する。

実験結果

リサーチクエスチョン

• RQ1 なぜループ付き信念伝播（LBP）はQMRのような特定のベイジアンネットワークで収束しなくなるのか？
• RQ2 可能性理論的フレームワークは、ループ付きネットワークにおけるLBPの収束性を改善できるか？
• RQ3 確率的推論から可能性的推論に移行することで、事後確率近似の精度にどのような影響が生じるか？
• RQ4 可能性理論的因果ネットワークは、標準的なベイジアンネットワークに比べて理論的・実用的利点をもたらすか？
• RQ5 どのような条件下で、LBPの可能性的適応が元の確率的LBPを上回るか？

主な発見

• QMRネットワークでは、LBPが振動的挙動を示し、収束せず、事後確率の近似が信頼できない。
• 一部のネットワークでは収束するが、ループ付きベイジアンネットワークに適用すると、確率的LBPアルゴリズムは誤った結果を出力する。
• 可能性理論的フレームワークは、循環ネットワークにおける信念伝播の安定性と収束性を向上させる代替手段として有効である。
• 著者らは、推論を可能性理論的設定に変換することで、不確実性への感受性が低下し、アルゴリズムのロバスト性が向上することを示している。
• LBPを可能性理論的因果ネットワークに適応させることで、元の確率的対応よりも優れた収束性を示す可能性がある。
• 本研究は、複雑なネットワークにおける推論の向上を図るため、既存の信念伝播技術に可能性理論的推論を統合する理論的基盤を提供している。