[論文レビュー] An Embarrassingly Simple Speed-Up of Belief Propagation with Robust Potentials

James M. Coughlan, Huiying Shen|arXiv (Cornell University)|Sep 30, 2010

Blind Source Separation Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、切り捨てられたペairワイズ潜在力を利用する事で、ロバストな潜在力を備えたペアワイズMRFにおける信念伝播（BP）を正確かつ計算効率的に高速化する手法を提示する。各ノードの全M状態ではなく、m個の互換性のある状態に限定して計算を行うことで、計算量をO(M²)からO(mM)に削減し、解を変更せずに顕著な高速化を達成する。この手法は、和積型および最大積型BPの両方へ適用可能である。

ABSTRACT

We present an exact method of greatly speeding up belief propagation (BP) for a wide variety of potential functions in pairwise MRFs and other graphical models. Specifically, our technique applies whenever the pairwise potentials have been {\em truncated} to a constant value for most pairs of states, as is commonly done in MRF models with robust potentials (such as stereo) that impose an upper bound on the penalty assigned to discontinuities; for each of the $M$ possible states in one node, only a smaller number $m$ of compatible states in a neighboring node are assigned milder penalties. The computational complexity of our method is $O(mM)$, compared with $O(M^2)$ for standard BP, and we emphasize that the method is {\em exact}, in contrast with related techniques such as pruning; moreover, the method is very simple and easy to implement. Unlike some previous work on speeding up BP, our method applies both to sum-product and max-product BP, which makes it useful in any applications where marginal probabilities are required, such as maximum likelihood estimation. We demonstrate the technique on a stereo MRF example, confirming that the technique speeds up BP without altering the solution.

研究の動機と目的

• ステレオビジョン応用を含め、ロバストな潜在力を有するMRFにおける信念伝播の高い計算コストを軽減すること。
• 近似や解の変更なしにBPを高速化する手法を開発し、正確な推論を保証すること。
• 周辺確率推定および最尤推論に適した、和積型および最大積型BPの両方を効率的に使用できること。
• 現実のグラフィカルモデルに容易に実装可能な、単純で実用的な技術を提供すること。

提案手法

• 隣接ノードのM状態のうち、m個の状態にのみ非定数のペナルティが与えられ、残りは定数値にキャップされる切り捨てられたペアワイズ潜在力を活用する。
• m個の互換性のある状態のうちでのみメッセージを計算することで、メッセージ伝達の計算量をO(M²)からO(mM)に削減する。
• すべての関連する潜在値を保持しており、プルーニングや近似ヒューリスティクスに依存しないため、このアプローチは正確である。
• 和積型および最大積型BPの両方へ均一に適用可能であり、幅広い推論タスクに適している。
• 完全なグラフィカルモデル構造を維持するが、メッセージ計算をm個の関連する状態ペアに制限する。

実験結果

リサーチクエスチョン

• RQ1 ロバストな潜在力を有するMRFにおける信念伝播を、解の正確性を損なわず高速化できるか？
• RQ2 m個の状態のみが非自明にペナルティを受ける場合に、O(M²)のBP計算量をO(mM)に正確に削減できる単純な手法は存在するか？
• RQ3 提案手法が和積型および最大積型推論の両方において正しさを保つのか？
• RQ4 最小限のコード複雑性と既存のBPフレームワークへの最小限の変更で実装可能か？

主な発見

• 提案手法により計算量がO(M²)からO(mM)に削減され、m ≪ Mの場合に顕著な高速化が達成される。
• この手法は正確であり、プルーニングベースや近似ベースの手法とは異なり、最終的な解を変更しない。
• この技術は、周辺確率推定および最尤推論に適した和積型および最大積型BPの両方へ適用可能である。
• ステレオMRF例における実証的検証により、解を変更せずにBPの高速化が確認された。