[論文レビュー] Improved Dynamic Schedules for Belief Propagation

Charles Sutton, Andrew McCallum|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 43

ひとこと要約

本稿では、正確な計算ではなくメッセージ残差の推定に頼ることで、メッセージ更新回数と合計実行時間を顕著に削減する動的信念伝播スケジューリング手法を提案する。メッセージ誤差の上界をスケジューリングの指針として用いることで、合成ネットワークおよび実世界のネットワークにおいて最大5倍の高速化を達成し、推論品質を損なわずに行える。

ABSTRACT

Belief propagation and its variants are popular methods for approximate inference, but their running time and even their convergence depend greatly on the schedule used to send the messages. Recently, dynamic update schedules have been shown to converge much faster on hard networks than static schedules, namely the residual BP schedule of Elidan et al. [2006]. But that RBP algorithm wastes message updates: many messages are computed solely to determine their priority, and are never actually performed. In this paper, we show that estimating the residual, rather than calculating it directly, leads to significant decreases in the number of messages required for convergence, and in the total running time. The residual is estimated using an upper bound based on recent work on message errors in BP. On both synthetic and real-world networks, this dramatically decreases the running time of BP, in some cases by a factor of five, without affecting the quality of the solution.

研究の動機と目的

• 動的信念伝播スケジューリングにおける非効率性、すなわち残差を優先順位割り当てのための唯一の目的として正確に計算することを是正すること。
• 複雑なネットワークにおける信念伝播の収束に必要なメッセージ更新回数を削減すること。
• 合成ネットワークおよび実世界のベイジアンネットワークにおいて、推論品質を損なわず実行時間を短縮すること。
• 正確な残差計算ではなく、誤差に基づく上界を用いる実用的でスケーラブルな動的スケジューリング手法の開発

提案手法

• 正確な残差計算の代わりに、信念伝播におけるメッセージ誤差の上界に関する最近の理論的知見に基づく上界推定を採用する。
• 推定された残差を用いてメッセージ更新の優先順位を決定し、計算負荷を低減しつつ収束速度を維持する。
• スケジューリングアルゴリズムは、推定された残差の大きさに基づいて次に更新すべきメッセージを動的に選択する。
• 標準的な信念伝播フレームワークに統合可能であり、既存の実装への変更を最小限にとどめられる。
• 使用する誤差上界は、現在のメッセージ値と最適なメッセージ値の差に由来し、残差の重要性を保守的だが効果的な代理指標として提供する。

実験結果

リサーチクエスチョン

• RQ1 正確な残差計算に代えて残差推定を用いることで、収束性や解の品質が低下することなく動的信念伝播スケジューリングに適用可能か？
• RQ2 正確な残差ではなく推定された残差を用いることで、メッセージ更新回数はどの程度削減可能か？
• RQ3 提案手法は、合成ネットワークおよび実世界のベイジアンネットワークの両方で高速な収束を維持するか？
• RQ4 従来の動的スケジューリングと比較して、残差推定の影響は合計実行時間にどのような影響を与えるか？
• RQ5 メッセージ誤差の上界は、信念伝播におけるメッセージスケジューリングの信頼できるヒューリスティックとして機能するか？

主な発見

• テストされたネットワークにおいて、収束に必要なメッセージ更新回数が最大5倍まで削減された。
• 合成ネットワークおよび実世界のベイジアンネットワークの両方で、合計実行時間が顕著に短縮され、最大5倍の高速化が達成された。
• 最終的な推論結果の品質は維持され、正確な残差スケジューリングと比較して精度の低下は認められなかった。
• 正確な残差ではなく推定された残差を用いることで、特に難易度の高い推論問題において顕著な計算コスト削減が達成された。
• 高木幅や複雑な依存関係を持つ多様なネットワーク構造において、本手法は強固な性能を示した。