[論文レビュー] Belief Propagation for Continuous State Spaces: Stochastic Message-Passing with Quantitative Guarantees

Nima Noorshams, Martin J. Wainwright|arXiv (Cornell University)|Dec 16, 2012

Error Correcting Code Techniques参考文献 33被引用数 25

ひとこと要約

本稿では、連続的グラフィカルモデルにおける低複雑度の信念伝搬アルゴリズムとして、メッセージの直交級数近似とモンテカルロ確率的更新を組み合わせた Stochastic Orthogonal Series Message-Passing (SOSMP) を提案する。木構造および収縮的ループを持つグラフにおいて、BP固定点のδ近傍へのほとんど確実な収束を確立し、所望の精度δを達成するための反復回数および基底係数の明示的上限を提示する。

ABSTRACT

The sum-product or belief propagation (BP) algorithm is a widely used message-passing technique for computing approximate marginals in graphical models. We introduce a new technique, called stochastic orthogonal series message-passing (SOSMP), for computing the BP fixed point in models with continuous random variables. It is based on a deterministic approximation of the messages via orthogonal series expansion, and a stochastic approximation via Monte Carlo estimates of the integral updates of the basis coefficients. We prove that the SOSMP iterates converge to a δ-neighborhood of the unique BP fixed point for any tree-structured graph, and for any graphs with cycles in which the BP updates satisfy a contractivity condition. In addition, we demonstrate how to choose the number of basis coefficients as a function of the desired approximation accuracy δand smoothness of the compatibility functions. We illustrate our theory with both simulated examples and in application to optical flow estimation.

研究の動機と目的

• 関数的メッセージを伴う連続的グラフィカルモデルにおける信念伝搬の高い計算コストおよび通信コストを低減すること。
• 大規模な連続的モデルに適した低複雑度でスケーラブルなメッセージパッシングアルゴリズムの開発。
• 木構造およびループを持つグラフの両方において、収束性および近似誤差に関する厳密な理論的保証の提供。
• 近似精度δ、適合関数の滑らかさ、および必要な基底係数の数の間のトレードオフの定量的特定。

提案手法

• ヒルベルト空間における直交級数展開を用いて信念伝搬メッセージを近似し、関数的メッセージを有限次元の係数ベクトルに縮小する。
• 基底係数の積分更新を確率的推定するためにモンテカルロサンプリングを採用し、計算を効率化する。
• ループを持つグラフにおける収束を保証するため、BP更新に収縮性条件を適用し、木構造モデルの結果を一般化する。
• 直交射影による有限次元部分空間への射影を用いて、近似誤差を制御する。
• パーセバルの定理とコーシー・シュワルツの不等式を用いて、メッセージ近似の期待二乗L²誤差の上限を導出する。
• 理論的収束レートを備えた確率的勾配的更新を統合し、固定点のδ近傍への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 関数的メッセージを伴う連続的グラフィカルモデルにおける信念伝搬を、計算的に実行可能に保ちつつ理論的収束保証を達成できるか？
• RQ2 基底係数の数、近似精度δ、および潜在関数の滑らかさの間の関係は何か？
• RQ3 提案された確率的メッセージパッシング方式は、木構造グラフにおいて固定点のδ近傍へのほとんど確実な収束を達成するか？
• RQ4 SOSMPはどのような条件下でループを持つグラフで収束し、どのような収束レートを保証できるか？
• RQ5 所望の精度δを達成するために、モンテカルロサンプル数および基底関数の数をどのように選べば、計算コストを最小限に抑えられるか？

主な発見

• SOSMPアルゴリズムは、任意の木構造グラフにおいて、唯一のBP固定点のδ近傍へのほとんど確実な収束を達成する。
• BP更新作用素に収縮性条件を満たすループを持つグラフにおいても、SOSMPは固定点のδ近傍へのほとんど確実な収束を達成する。
• 収束レートは反復回数の逆多項式であり、δ精度を達成するための反復回数に明示的な上限が得られる。
• 必要な基底係数の数は、適合関数の滑らかさに比例し、δ²に反比例するため、定量的かつ明示的な複雑度-精度トレードオフが可能になる。
• パーセバルの定理と収縮性の性質を用いて、メッセージ近似の期待誤差が上限で抑えられ、直交射影の近似誤差に明示的な依存関係を持つ。
• 合成データおよびオプティカルフロー推定における実験的検証により、理論的予測の妥当性が確認され、実用的有効性が示された。