[論文レビュー] Residual Belief Propagation: Informed Scheduling for Asynchronous Message Passing

Gal Elidan, Ian McGraw+1 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 21被引用数 237

ひとこと要約

本稿では、固定点までの距離を最小化する寄与度に基づいてメッセージスケジューリングを制御する、非同期的メッセージパッシングアルゴリズムであるリジッドベルリーフプロパゲーション（RBP）を提案する。従来の手法と比較して、収束速度と収束成功率が著しく向上する。RBPは、収束までの距離を減少させる寄与度に応じて動的にメッセージの優先順位を決定し、合成的および実世界の推論タスクにおいて、同期的およびヒューリスティックな非同期スケジューリングを凌駆する。

ABSTRACT

Inference for probabilistic graphical models is still very much a practical challenge in large domains. The commonly used and effective belief propagation (BP) algorithm and its generalizations often do not converge when applied to hard, real-life inference tasks. While it is widely recognized that the scheduling of messages in these algorithms may have significant consequences, this issue remains largely unexplored. In this work, we address the question of how to schedule messages for asynchronous propagation so that a fixed point is reached faster and more often. We first show that any reasonable asynchronous BP converges to a unique fixed point under conditions similar to those that guarantee convergence of synchronous BP. In addition, we show that the convergence rate of a simple round-robin schedule is at least as good as that of synchronous propagation. We then propose residual belief propagation (RBP), a novel, easy-to-implement, asynchronous propagation algorithm that schedules messages in an informed way, that pushes down a bound on the distance from the fixed point. Finally, we demonstrate the superiority of RBP over state-of-the-art methods for a variety of challenging synthetic and real-life problems: RBP converges significantly more often than other methods; and it significantly reduces running time until convergence, even when other methods converge.

研究の動機と目的

• 大規模で複雑な確率的グラフィカルモデルにおける、ベルリーフプロパゲーションの収束不良および収束速度の遅さを解消すること。
• メッセージスケジューリング戦略が非同期ベルリーフプロパゲーションにおける収束に与える影響を調査すること。
• 同期化を必要とせず、固定点への収束を高速化する効率的でスケーラブルなスケジューリングメカニズムを構築すること。
• 標準的な非同期および同期手法と比較して、リジッド誤差に基づくインフォームドスケジューリングが収束頻度と速度の両方を向上させることを示すこと。

提案手法

• RBPは、固定点までの距離を減少させる寄与度に応じてメッセージを優先順位付けする、リジッドに基づくスケジューリングヒューリスティクスを導入する。
• アルゴリズムは、メッセージの変化の大きさを追跡するリジッドベクトルを維持し、それを用いて次に伝搬するメッセージをランク付け・選択する。
• メッセージは、最大のリジッド値を持つものから順に伝搬され、各ステップで最も情報量の多い更新が優先される。
• この手法は非同期に動作し、ノードがグローバルな同期を必要とせず独立して更新可能であり、スケーラビリティが向上する。
• 理論的分析により、RBPを含む任意の合理的な非同期BPは、同期BPと同様の条件下で一意の固定点に収束することが示された。
• 同じ条件下で、RBPの収束速度は同期ベルリーフプロパゲーションと同等以上であることが証明された。

実験結果

リサーチクエスチョン

• RQ1 インフォームドでリジッドに基づくメッセージスケジューリング戦略は、非同期ベルリーフプロパゲーションにおける収束速度と収束成功率を向上させ得るか？
• RQ2 リジッドに基づくスケジューリングは、ラウンドロビン法やその他のヒューリスティックスケジューリングと比較して、収束性能においてどのように異なるか？
• RQ3 リジッドスケジューリングを用いた非同期ベルリーフプロパゲーションは、同期BPと同様の理論的収束保証を維持できるか？
• RQ4 RBPは、挑戦的な合成的および実世界の推論問題において、最先端の手法を上回る収束速度を達成できるか？
• RQ5 メッセージパッシングアルゴリズムにおいて、リジッドの大きさと固定点への収束速度の関係は何か？

主な発見

• RBPは、標準的ベルリーフプロパゲーションが収束に失敗するような挑戦的な推論タスクにおいても、他の最先端手法と比較して著しく高い収束頻度を示す。
• 従来の非同期および同期ベルリーフプロパゲーションと比較して、収束までの実行時間を最大で数個のオーダーも短縮する。
• RBPの収束速度は、同期ベルリーフプロパゲーションと同等以上であり、完全に非同期であるにもかかわらず同様の性能を達成する。
• RBPは、すでに同期伝搬と同等に効果的であると知られているラウンドロビンスケジューリングよりも高速に収束する。
• 理論的分析により、RBPは同期ベルリーフプロパゲーションが収束を保証するのと同じ条件下で、一意の固定点に収束することが確認された。
• 実験的結果により、RBPのリジッドに基づくスケジューリングは、固定点までの距離を効果的に追跡・低減しており、より高速で信頼性の高い推論を実現している。