[論文レビュー] Negative Tree Reweighted Belief Propagation

Qiang Liu, Alexander Ihler|arXiv (Cornell University)|Mar 15, 2012

Error Correcting Code Techniques参考文献 6被引用数 4

ひとこと要約

本稿では、負の重みをもつスパニングツリーの線形結合を用いた、マルコフ確率場における対数パーティション関数の新しい下界近似法であるネガティブツリーリウェイトドベリーフプロパゲーション（NTRBP）を提案する。ジェンセンの不等式を逆転させることで、平均場法よりもタイトな下界を提供し、構造的平均場近似を一般化し、より良い変分推論を実現する非凸最適化フレームワークを提供する。

ABSTRACT

We introduce a new class of lower bounds on the log partition function of a Markov random field which makes use of a reversed Jensen's inequality. In particular, our method approximates the intractable distribution using a linear combination of spanning trees with negative weights. This technique is a lower-bound counterpart to the tree-reweighted belief propagation algorithm, which uses a convex combination of spanning trees with positive weights to provide corresponding upper bounds. We develop algorithms to optimize and tighten the lower bounds over the non-convex set of valid parameter values. Our algorithm generalizes mean field approaches (including naive and structured mean field approximations), which it includes as a limiting case.

研究の動機と目的

• マルコフ確率場の対数パーティション関数に対するよりタイトな下界を構築すること。これは通常、正確に計算することが困難である。
• ツリー再重み付けベリーフプロパゲーションのような既存の上界法の限界を克服するため、双対的な下界アプローチを導入すること。
• ナイーブおよび構造的平均場近似を含む既存の平均場近似を、提案されたフレームワークの極限ケースとして形式化することで一般化すること。
• 有効なパrameter値の非凸集合上で下界を最適化することにより、改善された変分推論を可能にすること。
• 既存の上界法と補完的である新しい変分推論技術を提供し、近似精度を向上させること。

提案手法

• 負の重みをもつスパニングツリーの線形結合に、逆転したジェンセンの不等式を適用することで、対数パーティション関数に対する下界を提案する。
• スパニングツリーに負の係数を組み合わせることで変分近似を構築し、有効なパrameter集合上の非凸最適化問題を形成する。
• 下界を最大化する目的関数を導出する。この目的関数は、グラフィカルモデル内の依存関係をモデル化するためにスパニングツリーの構造を活用する。
• 下界を最適化する反復的アルゴリズムを開発する。このアルゴリズムは、ベリーフプロパゲーションの原則を負の重みを持つツリーの組み合わせに拡張する。
• 提案手法と平均場近似との関係を確立し、ツリー重みがゼロに近づく極限で平均場近似が出現することを示す。
• 非凸最適化フレームワークを用いて下界をタイトにし、真のパーティション関数のより良い近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 逆転したジェンセンの不等式を用いて、マルコフ確率場における対数パーティション関数のよりタイトな下界を導出できるか？
• RQ2 負の重みをもつスパニングツリーをどのようにして、計算不能なグラフィカルモデルの有効な変分近似として構築できるか？
• RQ3 提案手法が、既存の平均場アプローチをどのように一般化または包含するか？
• RQ4 負の重みを持つツリーの組み合わせの非凸最適化により、標準的な平均場法やツリー再重み付け法よりも優れた変分下界が得られるか？
• RQ5 提案された下界手法と上界のツリー再重み付けベリーフプロパゲーションアルゴリズムとの関係は何か？

主な発見

• 提案手法は、逆転したジェンセンの不等式を活用することで、対数パーティション関数に対する有効な下界を提供し、標準的な平均場法よりもタイトな近似を可能にする。
• このフレームワークは、ナイーブおよび構造的平均場近似を一般化しており、ツリー重みがゼロに近づく極限ケースとして両者を再現する。
• 負の重みを持つスパニングツリーの組み合わせの非凸集合上で最適化することで、ツリー再重み付けベリーフプロパゲーションの凸上界アプローチとは双対的な、改善された変分下界を達成する。
• 実験結果から、特に強い依存関係を示すモデルにおいて、平均場近似の下界よりもタイトな下界が得られることを示している。
• アルゴリズムは、ベリーフプロパゲーションの原則を負の重みを持つツリーの組み合わせに拡張し、グラフィカルモデルにおける新たな推論能力を可能にする。
• 上界法とは補完的な代替手法を提供し、マルコフ確率場における変分推論の全体的なツールキットを強化する。