[論文レビュー] Convergent Message-Passing Algorithms for Inference over General Graphs with Convex Free Energies

Tamir Hazan, Amnon Shashua|arXiv (Cornell University)|Jun 13, 2012

Error Correcting Code Techniques参考文献 14被引用数 46

ひとこと要約

本稿では、任意のグラフ上で凸自由エネルギー関数のグローバル最小値への収束を保証する2つの収束性を持つメッセージスティンングアルゴリズム—逐次的および並列的—を提案する。推論を凸最適化問題に再定式化することで、従来の信念伝搬における収束不能性および非凸性の問題を克服し、ループを含むグラフィカルモデルにおいて信頼性の高い推論を可能にする。

ABSTRACT

Inference problems in graphical models can be represented as a constrained optimization of a free energy function. It is known that when the Bethe free energy is used, the fixedpoints of the belief propagation (BP) algorithm correspond to the local minima of the free energy. However BP fails to converge in many cases of interest. Moreover, the Bethe free energy is non-convex for graphical models with cycles thus introducing great difficulty in deriving efficient algorithms for finding local minima of the free energy for general graphs. In this paper we introduce two efficient BP-like algorithms, one sequential and the other parallel, that are guaranteed to converge to the global minimum, for any graph, over the class of energies known as "convex free energies". In addition, we propose an efficient heuristic for setting the parameters of the convex free energy based on the structure of the graph.

研究の動機と目的

• ループを含むグラフィカルモデルにおける信念伝搬の収束不能性および非凸性の問題を解決すること。
• 任意のグラフ構造に対して自由エネルギーのグローバル最小値に収束するメッセージスティンングアルゴリズムを開発すること。
• 木構造モデルに限らない一般のグラフへ、凸自由エネルギー最小化の適用範囲を拡張すること。
• グラフ構造に基づいて自由エネルギーのパラメータを設定する原理的かつ一貫した手法を提供すること。

提案手法

• グラフィカルモデルにおける推論を、凸自由エネルギー関数の制約付き最適化問題として定式化する。
• グローバル最小値への収束を保証する逐次的および並列的メッセージスティンングアルゴリズムを導入する。
• 目的関数が凸であることを保証する凸自由エネルギーの定式化を用いることで、局所最小値の問題を回避する。
• 自由エネルギー最適化問題の双対問題における部分勾配降下に基づくメッセージ更新を導出する。
• グラフのサイクル構造に依存する自由エネルギーのパラメータ化を採用する。
• グラフ内のサイクルの数およびその分布に基づいた自由エネルギーパラメータの設定のヒューリスティックを適用する。

実験結果

リサーチクエスチョン

• RQ1 非自明なサイクル構造を有する一般のグラフに対して、グローバルに収束するメッセージスティンングアルゴリズムを設計可能か？
• RQ2 非凸のベーゼ自由エネルギーの代わりに凸自由エネルギーの定式化を用いることで、グローバル収束を達成可能か？
• RQ3 推論精度を向上させるために、凸自由エネルギーのパラメータを効果的に設定する方法は何か？
• RQ4 グラフの構造と自由エネルギーパラメータの選択との間にはどのような関係があるか？
• RQ5 任意のグラフに対して、保証された収束性を有する効率的かつスケーラブルなメッセージスティンングアルゴリズムを導出可能か？

主な発見

• 提案手法のアルゴリズムは、サイクルを含む任意のグラフに対して、凸自由エネルギー関数のグローバル最小値に収束することが保証される。
• 逐次的および並列的更新スキームの両方において収束が保証され、標準的信念伝搬の収束不能性を克服する。
• 凸自由エネルギーの使用により、ベーゼ近似に見られる局所最小値の問題が解消される。
• グラフ構造に基づいた自由エネルギーパラメータの設定ヒューリスティックが、推論性能の向上に寄与する。
• アルゴリズムは効率的かつスケーラブルであり、計算負荷が軽く、大規模グラフに対しても適している。
• 実験結果から、ループを含むグラフにおいて、標準的信念伝搬よりも推論の精度と安定性が向上していることが示された。