[論文レビュー] Convergent Propagation Algorithms via Oriented Trees

Amir Globerson, Tommi Jaakkola|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 34

ひとこと要約

この論文は、有向木分解を活用することで、グラフィカルモデルにおける木再重み付け（TRW）変分推論問題を解く収束するメッセージパッシングアルゴリズムを提示する。凸双対空間において制約のない一般化幾何プログラミングとして動作することで、グローバル最適解への収束を保証し、元の分布を保持する有向再パrametrizationによるプライマル更新が行われる。

ABSTRACT

Inference problems in graphical models are often approximated by casting them as constrained optimization problems. Message passing algorithms, such as belief propagation, have previously been suggested as methods for solving these optimization problems. However, there are few convergence guarantees for such algorithms, and the algorithms are therefore not guaranteed to solve the corresponding optimization problem. Here we present an oriented tree decomposition algorithm that is guaranteed to converge to the global optimum of the Tree-Reweighted (TRW) variational problem. Our algorithm performs local updates in the convex dual of the TRW problem - an unconstrained generalized geometric program. Primal updates, also local, correspond to oriented reparametrization operations that leave the distribution intact.

研究の動機と目的

• グラフィカルモデル推論における既存のメッセージパッシングアルゴリズムに収束保証がないという問題に対処すること。
• 木再重み付け（TRW）変分問題を解く、証明可能に収束するアルゴリズムを開発すること。
• TRW問題の凸双対空間で作業することで、近似推論におけるグローバル最適性を保証すること。
• プライマル空間における局所的有向再パラメータ化操作を通じて、分布の一貫性を維持すること。
• 木分解を用いた体系的な枠組みを提供し、収束する伝播アルゴリズムを構築すること。

提案手法

• アルゴリズムはTRW問題の凸双対空間で動作させ、それを制約のない一般化幾何プログラミングに再定式化する。
• 局所的更新は双対空間で実行され、双対問題の凸性のおかげで収束が保証される。
• プライマル更新は、元の分布を保持しつつ近似を改善する有向再パラメータ化によって実装される。
• 有向木分解がメッセージパッシングの更新構造を整え、収束を保証する。
• プライマルと双対の定式化の双対性を活用して、一貫性と最適性を維持する。
• 双対問題の凸性と有向木の構造を活用することで、局所的最小値を回避する。

実験結果

リサーチクエスチョン

• RQ1 TRW変分推論において、グローバル最適解への収束を保証するメッセージパッシングアルゴリズムを設計できるか？
• RQ2 TRW問題の双対定式化をどのように活用すれば、分散的・局所的な方法で収束を保証できるか？
• RQ3 木分解のどのような構造的性質が、グラフィカルモデルのメッセージパッシングアルゴリズムにおける収束を可能にするか？
• RQ4 局所的再パラメータ化操作は、元の分布を保持しつつ推論精度を向上させることができるか？
• RQ5 信念伝播の効率を保ちながらグローバル最適性を保証する収束可能なアルゴリズムを構築することは可能か？

主な発見

• 提案されたアルゴリズムは、TRW変分問題のグローバル最適解への収束を保証する。
• 収束は、凸双対問題を制約のない一般化幾何プログラミングとして解くことで達成される。
• 有向再パラメータ化によるプライマル更新は、元の分布を保持するため一貫性が保証される。
• 有向木分解の使用により、構造的で局所的な更新が可能となり、収束が維持される。
• 標準的な信念伝播とは異なり、証明可能な収束性を有する代替手法を提供する。
• 収束に達した後は、反復的精錬を必要とせず、グローバル最適性が達成される。