[論文レビュー] Stochastic Belief Propagation: Low-Complexity Message-Passing with Guarantees

Nima Noorshams, Martin J. Wainwright|arXiv (Cornell University)|Nov 4, 2011

Error Correcting Code Techniques被引用数 1

ひとこと要約

本稿では、各反復でメッセージを確率的に選択して更新することにより計算コストを低減する、信念伝搬（BP）の低複雑性版である確率的信念伝搬（SBP）を提案する。木構造のグラフ上で、SBPはBP固定点へのほとんど確実な収束を保証し、非漸近的誤差バウンドを提供する。一般のグラフでは収縮条件を満たす場合、平均二乗誤差が反復回数tに対して1/tの割合で減少する。

ABSTRACT

The sum-product or belief propagation (BP) algorithm is widely used to compute exact or approximate marginals in graphical models. However, for graphical models with continuous or high-dimensional discrete states and/or high degree factors, it can be computationally expensive to update messages. We propose the stochastic belief propagation algorithm (SBP) as a low-complexity alternative. It is a randomized variant of BP that passes only stochastically chosen information at each round, thereby reducing the complexity per iteration by an order of magnitude. We prove that it enjoys a number of rigorous convergence guarantees: for any tree-structured graph, the SBP updates converge almost surely to the BP fixed point, and we provide non-asymptotic bounds on the mean absolute error. For general graphs that satisfy a standard contraction condition, we establish almost sure convergence to the unique BP fixed point, as well as non-asymptotic guarantees on the mean squared error, showing that it decays as 1/t with the number of iterations t. We also provide high probability bounds on the actual error.

研究の動機と目的

• 連続的または高次元の状態および高次数の要因を有するグラフィカルモデルにおける信念伝搬の高い計算コストに対処すること。
• 1回の反復あたりの複雑性を1桁低減するが、収束保証を損なわないメッセージスレッディングアルゴリズムを開発すること。
• 標準的な収縮条件の下で、木構造のグラフおよび一般のグラフにおけるSBPの厳密な非漸近的誤差バウンドを確立すること。

提案手法

• SBPは、各反復でランダムに選択されたメッセージのみを計算・伝達する確率的メッセージ更新戦略を導入し、計算負荷を低減する。
• アルゴリズムは標準的信念伝搬と同一の固定点構造を維持するが、どのメッセージを更新するかを確率的サンプリングで選択する。
• 木構造のグラフでは、SBPの更新がBP固定点へほとんど確実に収束することが証明されている。
• 収縮条件を満たす一般のグラフでは、SBPは一意のBP固定点へほとんど確実に収束する。
• 木構造のグラフにおける平均絶対誤差の非漸近的バウンドが導出された。
• 実際の誤差に関する高確率バウンドが提供され、平均二乗誤差が反復回数tに対して1/tの割合で減少することが示された。

実験結果

リサーチクエスチョン

• RQ1 確率的メッセージスレッディングアルゴリズムは、標準的信念伝搬と同等の固定点収束を達成しつつ、計算複雑性を低減できるか？
• RQ2 木構造のグラフィカルモデルにおける確率的信念伝搬の非漸近的誤差バウンドは何か？
• RQ3 一般のグラフにおいて、確率的信念伝搬が一意のBP固定点へほとんど確実に収束する条件は何か？
• RQ4 一般のグラフにおいて、SBPの平均二乗誤差は反復回数に応じてどのように減少するか？
• RQ5 標準的な収縮仮定の下で、SBPの実際の誤差に関する高確率バウンドを確立できるか？

主な発見

• 木構造のグラフでは、SBPの更新がBP固定点へほとんど確実に収束し、標準的BPと同一の条件下で正しさが保証される。
• SBPの木構造における平均絶対誤差の非漸近的バウンドが確立され、有限サンプル誤差制御が可能になる。
• 標準的な収縮条件を満たす一般のグラフでは、SBPは一意のBP固定点へほとんど確実に収束する。
• SBPの平均二乗誤差は反復回数tに対して1/tの割合で減少し、良好な収束速度を示す。
• 実際の誤差に関する高確率バウンドが導出され、反復回数が増加するにつれて誤差がきわめて厳密に制御されることを示した。
• SBPの1反復あたりの複雑性は、標準的BPと比較して1桁低減されており、高次元または連続状態のモデルに適している。