[論文レビュー] Convergent message passing algorithms - a unifying view

Talya Meltzer, Amir Globerson+1 more|arXiv (Cornell University)|May 9, 2012

Error Correcting Code Techniques参考文献 15被引用数 105

ひとこと要約

この論文は、グラフィカルモデルにおける収束性を保証するメッセージパッシングアルゴリズムの包括的枠組み、Tree-Consistency Bound Optimization (TCBO) を提案する。抽象的変分最適化を通じて収束性が保証されるアルゴリズムを導出することで、著者らは既存の多数の収束性を保証するアルゴリズムが TCBO の特殊なケースであることを示し、既知のアルゴリズムにおける最大化と和集合の演算を入れ替えることで、新たな収束性を保証する変種を導出する。これにより、理論的保証のもとで収束性を保証する推論手法を体系的に設計する手法が提供される。

ABSTRACT

Message-passing algorithms have emerged as powerful techniques for approximate inference in graphical models. When these algorithms converge, they can be shown to find local (or sometimes even global) optima of variational formulations to the inference problem. But many of the most popular algorithms are not guaranteed to converge. This has lead to recent interest in convergent message-passing algorithms. In this paper, we present a unified view of convergent message-passing algorithms. We present a simple derivation of an abstract algorithm, tree-consistency bound optimization (TCBO) that is provably convergent in both its sum and max product forms. We then show that many of the existing convergent algorithms are instances of our TCBO algorithm, and obtain novel convergent algorithms "for free" by exchanging maximizations and summations in existing algorithms. In particular, we show that Wainwright's non-convergent sum-product algorithm for tree based variational bounds, is actually convergent with the right update order for the case where trees are monotonic chains.

研究の動機と目的

• グラフィカルモデルにおける近似推論のための一般的なメッセージパッシングアルゴリズムに、収束性の保証が欠けているという問題に対処すること。
• 多様な収束性を保証するメッセージパッシングアルゴリズムを、一つの理論的枠組みで統一すること。
• 既存の手法を一般化し、収束性が保証されるアルゴリズムを導出し、新たな収束性を保証する変種を体系的に設計できるようにすること。
• 非収束性を示すアルゴリズム（例：Wainwright の和積型）が、適切な更新順序のもとでどのように収束性を達成できるかの条件を明確にすること。

提案手法

• 双対分解法を用いて変分境界を最適化する抽象的アルゴリズムとして、Tree-Consistency Bound Optimization (TCBO) を提案する。
• TCBO の和積型および最大積型の両形式を導出し、凸最適化フレームワークを通じて収束性を保証する。
• TCBO の更新が凸双対関数の逐次最小化に対応することを示し、収束性を確立する。
• 既存の収束性を保証するアルゴリズム（例：TRW-S、逐次的ツリーリーソン）が、特定のパrameter選択のもとで TCBO の特殊ケースであることを示す。
• 既存のアルゴリズムにおける最大化と和集合の演算を入れ替える変換を導入し、新たな収束性を保証する変種を生成する。
• Wainwright の非収束性を示す和積型アルゴリズムが、適切な更新順序のもとで単調的鎖構造に適用された場合に収束性を示すことを証明する。

実験結果

リサーチクエスチョン

• RQ1 一貫した枠組みによって、グラフィカルモデルにおける既存の収束性を保証するメッセージパッシングアルゴリズムを統合できるか？
• RQ2 変分推論のためのメッセージパッシングアルゴリズムにおいて、収束性を保証する条件は何か？
• RQ3 構造的変更や更新順序の最適化によって、非収束性を示すアルゴリズムを収束性を保証するものに変換できるか？
• RQ4 既存のアルゴリズムから、体系的に新たな収束性を保証するメッセージパッシングアルゴリズムを導出できるか？
• RQ5 和積型および最大積型メッセージパッシングに共通して収束性を保証する一般化された変分定式化は存在するか？

主な発見

• 提案された TCBO アルゴリズムは、和積型および最大積型の両形式において、理論的根拠に基づいて収束性が保証され、包括的かつ理論的裏付けのある枠組みを提供する。
• TRW-S や逐次的ツリーリーソンアルゴリズムを含む、多くの既存の収束性を保証するアルゴリズムが、TCBO の特殊ケースであることが示された。
• 既存のアルゴリズムにおける最大化と和集合の演算を入れ替えることで、新たな収束性を保証する変種が得られ、体系的なアルゴリズム設計が可能になる。
• 以前は収束性の保証がなかったとされる Wainwright の和積型アルゴリズムが、適切な更新順序のもとで単調的鎖構造に適用された場合に収束性を示すことが証明された。
• この枠組みにより、木構造でないモデルに対しても、適切な双対分解と凸最適化によって収束性が達成可能であることが明らかになった。