[論文レビュー] An Importance Sampling Algorithm Based on Evidence Pre-propagation

Changhe Yuan, Marek J. Drużdżel|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 24被引用数 86

ひとこと要約

本稿では、ループ付きベイズ推論とeカットヒューリスティクスを用いて事前に重要度関数を計算することで、まれな証拠下でのサンプリング効率を向上させる、ベイジアンネットワーク向けの重要度サンプリングアルゴリズムEPIS-BNを提案する。AIS-BNに比べて精度が著しく優れており、学習段階のコストを回避している。ANDES、CPCS、PATHFINDERネットワークにおいて優れた性能を示した。

ABSTRACT

Precision achieved by stochastic sampling algorithms for Bayesian networks typically deteriorates in face of extremely unlikely evidence. To address this problem, we propose the Evidence Pre-propagation Importance Sampling algorithm (EPIS-BN), an importance sampling algorithm that computes an approximate importance function by the heuristic methods: loopy belief Propagation and e-cutoff. We tested the performance of e-cutoff on three large real Bayesian networks: ANDES, CPCS, and PATHFINDER. We observed that on each of these networks the EPIS-BN algorithm gives us a considerable improvement over the current state of the art algorithm, the AIS-BN algorithm. In addition, it avoids the costly learning stage of the AIS-BN algorithm.

研究の動機と目的

• ベイジアンネットワークにおける証拠が極めてまれな場合に生じるサンプリング精度の低下を是正すること。
• AIS-BNのような既存手法の高コストな学習段階を回避する効率的な重要度サンプリングアルゴリズムの開発。
• ヒューリスティックな伝搬手法を用いて事前に堅牢な重要度関数を計算することで、重要度サンプリングの品質を向上させること。
• eカットとループ付きベイズ推論が、まれな証拠のための重要度分布の構築に与える影響を評価すること。
• ANDES、CPCS、PATHFINDERのような大規模で実世界のベイジアンネットワークにおいて優れた性能を示すこと。

提案手法

• アルゴリズムは、サンプリングの前にループ付きベイズ推論を用いて事後分布を近似し、ヒューリスティックな重要度関数を生成する。
• eカットを適用して低確率状態を pruning し、証拠に関連する領域に注目してサンプリングを集中させる。
• 得られた重要度関数が、まれな証拠下での効率性と正確性を向上させるサンプリングプロセスを指導致す。
• AIS-BNとは異なり、繰り返し学習を必要とせず、事前に計算された証拠伝搬に依存することで、学習段階を回避する。
• サンプリングは、事前に計算された重要度分布を用いて事後確率を推定するために実行される。
• 本手法は、3つの大規模なベイジアンネットワーク（ANDES、CPCS、PATHFINDER）で評価された。

実験結果

リサーチクエスチョン

• RQ1 事前に計算された証拠伝搬は、まれな証拠下のベイジアンネットワークにおける重要度サンプリングの効率性と正確性を向上させることができるか？
• RQ2 ループ付きベイズ推論とeカットの組み合わせは、重要度関数の品質にどのように影響するか？
• RQ3 EPIS-BNは、高コストな学習段階を必要とせずに、AIS-BNを上回る精度を達成できるか？
• RQ4 EPIS-BNは、複雑な構造とまれな証拠を有する実世界のベイジアンネットワークにおいて、どのように性能を発揮するか？
• RQ5 ヒューリスティックな伝搬手法は、大規模ネットワークにおける重要度サンプリングのための事後分布を効果的に近似できるか？

主な発見

• EPIS-BNは、すべての3つのテストネットワーク（ANDES、CPCS、PATHFINDER）において、AIS-BNに比べて顕著に高いサンプリング精度を達成した。
• 学習段階を必要としないため、計算コストを低減しつつ、AIS-BNを上回る性能を発揮した。
• eカットは、関係の薄い状態を効果的に pruning し、サンプリングの効率性を向上させるとともに、状態空間の高影響領域に集中させた。
• ループ付きベイズ推論は、事後分布の安定的かつ有用な近似を提供し、効果的な重要度関数の構築を可能にした。
• 本手法は、複雑な条件付き依存関係を有する大規模で実世界のベイジアンネットワークにおいて、頑健性とスケーラビリティを示した。
• EPIS-BNは、まれな証拠下において、正確性と計算効率の両面で、最先端のAIS-BNアルゴリズムを上回った。