[論文レビュー] Approximate Inference and Constrained Optimization

Tom Heskes, Kees Albers+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 11被引用数 87

ひとこと要約

本稿では、上界の逐次的凸緩和を用いて非凸なキクチ自由エネルギー最小化問題を解くことで、グラフィカルモデルにおける近似推論のための新しいアルゴリズムフレームワークを提案する。これらの凸緩和をタイトにすることで、CCCPに比べて著しく高速な収束を達成し、シミュレーションにおいて顕著な高速化を示しながら収束保証を維持する。

ABSTRACT

Loopy and generalized belief propagation are popular algorithms for approximate inference in Markov random fields and Bayesian networks. Fixed points of these algorithms correspond to extrema of the Bethe and Kikuchi free energy. However, belief propagation does not always converge, which explains the need for approaches that explicitly minimize the Kikuchi/Bethe free energy, such as CCCP and UPS. Here we describe a class of algorithms that solves this typically nonconvex constrained minimization of the Kikuchi free energy through a sequence of convex constrained minimizations of upper bounds on the Kikuchi free energy. Intuitively one would expect tighter bounds to lead to faster algorithms, which is indeed convincingly demonstrated in our simulations. Several ideas are applied to obtain tight convex bounds that yield dramatic speed-ups over CCCP.

研究の動機と目的

• マークオフ連鎖やベイズネットワークにおける信念伝播の非収束および遅い収束を解決すること。
• 近似推論の中心的役割を果たす非凸キクチ自由エネルギーを最小化する信頼性のある手法を開発すること。
• CCCP や UPS といった既存手法を改善するために、キクチ自由エネルギーに対するよりタイトな凸上界を用いること。
• 段階的にタイトになる近似を提供する凸部分問題の系列を通じて、より高速かつ安定した推論を可能にすること。

提案手法

• キクチ自由エネルギー最小化を制約付き最適化問題として定式化する。
• CCCP で用いられるものよりもタイトなキクチ自由エネルギーの凸上界を導入する。
• アルゴリズムはこれらの凸上界を繰り返し最小化することで、真の自由エネルギーへの近似を段階的にタイトにする。
• 各反復では凸最適化部分問題を解くことで、局所的収束性と安定性を保証する。
• キクチ近似の構造を活用して、計算的に扱いやすくかつ情報量のある境界を設計する。
• アルゴリズムは、段階的にタイトになる上界を最小化することで、一般化信念伝播の固定点に収束するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 非凸キクチ自由エネルギーを効果的に最小化するために、凸最適化の系列を用いることは可能か？
• RQ2 よりタイトな凸上界は、CCCP に比べて収束速度にどのように影響するか？
• RQ3 提案手法は、近似推論における精度を維持しながら、より高速な収束を達成できるか？
• RQ4 境界のタイトさは、推論アルゴリズムの安定性と性能にどのような影響を及えるか？

主な発見

• 提案手法は、キクチ自由エネルギーに対するよりタイトな凸上界のおかげで、CCCP よりも著しく高速な収束を達成する。
• シミュレーションでは、高次因子を含む複雑なグラフィカルモデルにおいて、CCCP に比べ顕著な高速化が確認された。
• 標準的な信念伝播が収束しないケースでも、アルゴリズムは一貫して収束する。
• よりタイトな凸上界は、自由エネルギーの低下をより速くするため、境界の質が性能に直接的に影響することを実証した。