[論文レビュー] Expectation particle Belief Propagation

Thibaut Lienart, Yee Whye Teh+1 more|arXiv (Cornell University)|Dec 7, 2015

Error Correcting Code Techniques参考文献 22被引用数 3

ひとこと要約

本稿では、連続状態のペアワイズMRFに対して、期待粒子信念伝播（EPBP）アルゴリズムを導入する。この手法は、期待粒子伝播（EP）によって更新される適応的指数型分布を提案分布として用い、粒子ベース信念伝播の性能を向上させる。従来のPBP手法と比較して、計算コストを低減しつつ、一貫性のある周辺分布推定を達成する。

ABSTRACT

We propose an original particle-based implementation of the Loopy Belief Propagation (LPB) algorithm for pairwise Markov Random Fields (MRF) on a continuous state space. The algorithm constructs adaptively efficient proposal distributions approximating the local beliefs at each note of the MRF. This is achieved by considering proposal distributions in the exponential family whose parameters are updated iterately in an Expectation Propagation (EP) framework. The proposed particle scheme provides consistent estimation of the LBP marginals as the number of particles increases. We demonstrate that it provides more accurate results than the Particle Belief Propagation (PBP) algorithm of [1] at a fraction of the computational cost and is additionally more robust empirically. The computational complexity of our algorithm at each iteration is quadratic in the number of particles. We also propose an accelerated implementation with sub-quadratic computational complexity which still provides consistent estimates of the loopy BP marginal distributions and performs almost as well as the original procedure.

研究の動機と目的

• 連続状態のMRFにおける既存の粒子ベース信念伝播（PBP）手法の限界、特に推定精度と計算コストの点で課題を解決すること。
• ループを含む信念伝播（LBP）の連続的領域におけるより強固で効率的な推論アルゴリズムの開発。
• 適応的提案分布を活用して、粒子近似を用いたLBP周辺分布の一致推定を可能にすること。
• 計算複雑度を低減しつつ推定精度を維持するため、部分的2乗時間計算量を有する高速化バージョンを導入すること。

提案手法

• 本手法は、ペアワイズMRFにおける局所的信念の粒子ベース近似を用い、提案分布は指数型分布族に属する。
• 提案分布のパラメータは、局所的信念に適合させるために、期待粒子伝播（EP）フレームワーク内で繰り返し更新される。
• アルゴリズムは、粒子の効率性と周辺分布推定精度を向上させる適応的提案分布を構築する。
• 粒子数を増加させることで、LBP周辺分布の一致推定が保証され、理論的妥当性が裏付けられる。
• 高速化バージョンは、粒子数に応じた2乗時間計算量から部分的2乗時間計算量に低減されつつ、一貫性と性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 連続状態のMRFにおける粒子ベース信念伝播を、適応的提案分布を用いることで、より精度よくかつ効率的にできるか。
• RQ2 期待粒子伝播を粒子信念伝播に統合することで、推定の一貫性とロバスト性がどのように向上するか。
• RQ3 粒子ベースLBPにおける計算複雑度と推定精度のトレードオフは何か。また、最適化可能か。
• RQ4 部分的2乗時間計算量のバージョンは、元の2乗時間計算量バージョンと同等の性能を維持できるか。

主な発見

• 提案されたEPBPアルゴリズムは、[1]のPBP手法よりも高い精度を達成するが、計算コストは著しく低減されている。
• 粒子数を増加させることで、ループを含むBPの周辺分布推定が一貫的に行えるため、理論的信頼性が保証される。
• 特に複雑または高次元の連続状態空間において、従来のPBPアプローチよりも実験的によりロバストである。
• 部分的2乗時間計算量の高速化バージョンは、元の2乗時間計算量バージョンとほぼ同等の性能を発揮し、スケーラビリティを実現している。