[論文レビュー] Novel Bounds on Marginal Probabilities

Joris M. Mooij, Hilbert J. Kappen|ArXiv.org|Jan 24, 2008

Bayesian Modeling and Causal Inference参考文献 15被引用数 3

ひとこと要約

本稿では、離散因子グラフにおける1変数周辺確率のタイトで計算的に効率的な境界を計算する2つの新しい手法—BoxProp-SubT および BoxProp-SAWT—を提案する。それぞれ、部分木および自己回避ウォーク木を介して境界ボックスを伝搬することで、正確な周辺確率とBelief Propagationの信念を同時に境界化する。既存の境界と比較して、特に低基数の変数や強い相互作用が存在する場合に、より高い精度と低い計算時間で性能を発揮する。

ABSTRACT

We derive two related novel bounds on single-variable marginal probability distributions in factor graphs with discrete variables. The first method propagates bounds over a subtree of the factor graph rooted in the variable, and the second method propagates bounds over the self-avoiding walk tree starting at the variable. By construction, both methods not only bound the exact marginal probability distribution of a variable, but also its approximate Belief Propagation marginal (``belief''). Thus, apart from providing a practical means to calculate bounds on marginals, our contribution also lies in an increased understanding of the error made by Belief Propagation. Empirically, we show that our bounds often outperform existing bounds in terms of accuracy and/or computation time. We also show that our bounds can yield nontrivial results for medical diagnosis inference problems.

研究の動機と目的

• 離散因子グラフにおける1変数周辺確率のタイトで実用的な境界を開発すること。
• Belief Propagationの誤差を、正確な周辺確率とBP信念の両方を同時に境界化することで定量化すること。
• 既存の手法と比較して、境界のタイトさを維持または向上させつつ計算コストを低減すること。
• 正確な解が不要な状況でも信頼性のある誤差推定を可能にすること。
• 医療診断など、タイトで高速な境界が不可欠な実世界の応用を支援すること。

提案手法

• 目的変数をルートとする部分木を介して境界ボックス（確率測度の最小包含ボックス）を伝搬させ、周辺確率の境界を計算する。
• 自己回避ウォーク木（SAWT）を計算木として用い、部分木伝搬よりも複雑な依存関係を捉える。
• 凸性および正規化／乗算演算を適用することで、伝搬中に有効な確率境界を維持する。
• 変数の周辺確率の局所的境界を、その近傍変数に基づいて用い、ボックス表現を用いて境界を効率的に追跡する。
• 計算時間を制御するため、部分木およびSAW木を切り詰める。これにより、一部のタイトさを犠牲にしてスケーラビリティを向上させる。
• 複数の手法からの境界を、交差または最もタイトな境界を用いて統合することで、全体の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正確な周辺確率とBP信念の両方を同時に境界化できる、因子グラフにおける1変数周辺確率のよりタイトな境界を導出可能か？
• RQ2 特に低基数の変数に対して、計算コストを低く抑えながら境界を効率的に計算可能か？
• RQ3 実世界の推論問題において、既存の境界をタイトさと計算時間の両面で上回ることができるか？
• RQ4 強い相互作用や高次因子グラフにおいて、境界はどのように振る舞うか？
• RQ5 境界を連続変数や2項相互作用を超えた一般化された設定に拡張可能か？

主な発見

• BoxProp-SubT および BoxProp-SAWT は、特に2値または低基数の変数において、既存の境界を上回るタイトさと計算時間の性能を示す。
• 2項相互作用の場合、BoxProp-SAWT は固定深さに切り詰めた場合、ネットワークサイズに線形にスケーリングする最もタイトな境界を提供する。
• 境界は正確な周辺確率とBP信念の両方に対して同時に有効であり、BPの誤差を直接定量化可能である。
• 計算時間は相互作用の強さとは無関係に予測可能であり、BoundProp や TRW のような反復的手法とは異なり、予測可能である。
• 高次相互作用の場合は、BoxProp-SubT が優れている。Ihler-SAWT は容易に拡張できないため。
• 境界は実世界の医療診断問題に対しても有効であり、非自明で有用な結果をもたらす。