[論文レビュー] An empirical evaluation of possible variations of lazy propagation

Anders L. Madsen|arXiv (Cornell University)|Jul 7, 2004

Bayesian Modeling and Causal Inference参考文献 19被引用数 20

ひとこと要約

本論文は、ベイジアンネットワークにおけるラージ・プロパゲーションのパフォーマンスに与える、異なるメッセージ計算アルゴリズム（変数消去法（VE）、記号的確率的推論（SPI）、アーク反転法（AR））の影響を評価する。結果として、VE、SPI、ARは大多数のネットワークにおいて類似したパフォーマンスを示すが、特定のランダムに生成されたネットワークではARが他の手法を上回り、特に空間計算量と時間計算量の低減において優れた性能を発揮することがわかった。

ABSTRACT

As real-world Bayesian networks continue to grow larger and more complex, it is important to investigate the possibilities for improving the performance of existing algorithms of probabilistic inference. Motivated by examples, we investigate the dependency of the performance of Lazy propagation on the message computation algorithm.We show how Symbolic Probabilistic Inference (SPI) and Arc-Reversal (AR) can be used for computation of clique to clique messages in the addition to the traditional use of Variable Elimination (VE).In addition, the paper presents the results of an empirical evaluation of the performance of Lazy propagation using VE, SPI, and AR as the message computation algorithm. The results of the empirical evaluation show that for most networks, the performance of inference did not depend on the choice of message computation algorithm, but for some randomly generated networks the choice had an impact on both space and time performance. In the cases where the choice had an impact, AR produced the best results.

研究の動機と目的

• 異なるメッセージ計算アルゴリズムが、ベイジアンネットワークにおけるラージ・プロパゲーションのパフォーランスに与える影響を調査すること。
• 伝統的な変数消去法（VE）の代替手段として、記号的確率的推論（SPI）とアーク反転法（AR）を用いたクライーク間メッセージ伝達の実現可能性と効率性を評価すること。
• メッセージ計算アルゴリズムの選択が、実世界および合成されたベイジアンネットワークにおける推論時間とメモリ使用量に顕著な影響を及ぼすかどうかを特定すること。

提案手法

• 本研究では、クライーク間メッセージ伝達に、メッセージ計算アルゴリズムとしてVE、SPI、ARを用いたラージ・プロパゲーションを実装した。
• SPIはメッセージを記号的に計算し、必要に応じて初めて数値計算を実行する。
• ARは、特に密なまたは複雑な条件付き独立構造を持つネットワークにおいて、メッセージ計算を簡素化するためにネットワークのアークを反転させる。
• 各バリアントのパフォーマンスは、実世界およびランダムに生成されたネットワークの多様なセットに対して評価された。
• 実行時間とメモリ使用量を測定し、異なるネットワーク構造における時間的・空間的効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 メッセージ計算アルゴリズム（VE、SPI、AR）の選択が、ベイジアンネットワークにおけるラージ・プロパゲーションの実行時間とメモリ使用量に顕著な影響を及ぼすか？
• RQ2 SPIとARは、クライークツリーにおけるメッセージ計算の効率性において、VEと比較してどう異なるか？
• RQ3 特定のネットワーク構造において、ARまたはSPIが両方の時間的・空間的使用量においてVEを上回るケースは存在するか？
• RQ4 ネットワークの特性（例：サイズ、接続性、条件付き独立性）が、メッセージ計算アルゴリズム間のパフォーマンス差にどの程度影響を及ぼすか？
• RQ5 どのようなタイプのベイジアンネットワークにおいて、メッセージ計算アルゴリズムの選択が推論パフォーマンスに顕著な影響を及ぼすか？

主な発見

• 大多数のベイジアンネットワークにおいて、メッセージ計算アルゴリズム（VE、SPI、AR）の選択は、実行時間およびメモリ使用量の複雑さにほとんど影響を及ぼさなかった。
• ランダムに生成されたネットワークの一部においては、アルゴリズムの選択が実行時間とメモリ使用量に顕著な影響を及ぼした。
• パフォーマンス差が観察された場合、アーク反転法（AR）は常に実行時間とメモリ使用量の削減という点で最良の結果を示した。
• 記号的確率的推論（SPI）は、大多数のケースでVEと同等のパフォーマンスを示したが、テストされたあらゆる状況でARを上回ることはなかった。
• 複雑な条件付き独立構造を持つネットワークでは、パフォーマンスへの影響が顕著に現れ、ARがこうしたケースの処理において優位であることが示唆された。