[論文レビュー] Variational Algorithms for Marginal MAP

Qiang Liu, Alexander Ihler|arXiv (Cornell University)|Feb 26, 2013

Bayesian Modeling and Causal Inference参考文献 50被引用数 32

ひとこと要約

本稿では、マージナルMAP推論を双対表現を用いた関連最適化問題に再定式化することで、マージナリゼーションと最大化を統合する変分フレームワークを提案する。混合積メッセージパッシング（max-product、sum-product、および新規のargmax-product更新ルールをハイブリッド化）と、収束性を保証するプロキシマルポイント法を導入し、マージナルMAPを段階的なマージナリゼーション問題の系列に変換することで、ベンチマークモデルにおいて既存手法を上回る性能を達成する。

ABSTRACT

The marginal maximum a posteriori probability (MAP) estimation problem, which calculates the mode of the marginal posterior distribution of a subset of variables with the remaining variables marginalized, is an important inference problem in many models, such as those with hidden variables or uncertain parameters. Unfortunately, marginal MAP can be NP-hard even on trees, and has attracted less attention in the literature compared to the joint MAP (maximization) and marginalization problems. We derive a general dual representation for marginal MAP that naturally integrates the marginalization and maximization operations into a joint variational optimization problem, making it possible to easily extend most or all variational-based algorithms to marginal MAP. In particular, we derive a set of "mixed-product" message passing algorithms for marginal MAP, whose form is a hybrid of max-product, sum-product and a novel "argmax-product" message updates. We also derive a class of convergent algorithms based on proximal point methods, including one that transforms the marginal MAP problem into a sequence of standard marginalization problems. Theoretically, we provide guarantees under which our algorithms give globally or locally optimal solutions, and provide novel upper bounds on the optimal objectives. Empirically, we demonstrate that our algorithms significantly outperform the existing approaches, including a state-of-the-art algorithm based on local search methods.

研究の動機と目的

• マージナルMAP推論の課題に取り組む。これは木構造でさえNP困難であり、連合MAPやマージナリゼーションほど十分に研究されていない。
• マージナリゼーションと最大化を、計算可能であるアルゴリズム設計を可能にする単一の変分最適化フレームワークに統合する。
• 信念伝搬やプロキシマル手法といった既存の変分アルゴリズムを、理論的保証を伴うマージナルMAPに拡張する。
• 複雑なモデルにおいて、局所探索や標準BPの変種を上回る実用的で収束性を有するアルゴリズムを開発する。
• 最適なマージナルMAP目的関数に対する新たな上界を提供し、グローバルまたはローカル最適解に達するための条件を確立する。

提案手法

• マージナルMAPの双対表現を自由エネルギー最小化問題として導出し、和演算と最大値演算を統合可能にする。
• max-product、sum-product、および新規のargmax-product更新ルールを統合した混合積メッセージパッシングを提案する。
• 純粋なマージナリゼーション問題を繰り返し解くことでマージナルMAP問題の解に収束するプロキシマルポイント法を構築する。
• メッセージパッシングアルゴリズムのジュンクショングラフ変種を用いて、ジュンクションツリーおよび高次クラークモデルへとフレームワークを拡張する。
• 平均場近似をEMアルゴリズムと結びつけ、隠れ変数モデルの学習に応用する。
• 和変数が木構造サブグラフを形成する条件下で、収束性および最適性の理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 マージナルMAP推論は、マージナリゼーションと最大化を統合する関連変分最適化問題に再定式化可能か？
• RQ2 max-productとsum-product更新を効果的に組み合わせるメッセージパッシングルールは何か？
• RQ3 プロキシマルポイント法は、収束保証を伴うマージナルMAP問題に適応可能か？
• RQ4 どのような条件下で提案手法がグローバルまたはローカル最適解に到達するか？
• RQ5 提案手法は、局所探索や標準BPといった既存手法と比較して実際にはどのように性能を発揮するか？

主な発見

• 混合積（Bethe）およびプロキシマル（Bethe）アルゴリズムは、隠れマルコフ連鎖モデルにおいて1000回の試行で確率≥99%の割合でグローバル最適解に到達する。
• プロキシマル（TRW）アルゴリズムは最適なマージナルMAP目的関数に対してタイトな上界を提供し、標準TRW-BPを上回る性能を示す。
• 局所探索（SamIam）はループを持つmax部分グラフやmaxノード数が多い場合に著しく性能を低下させるが、提案手法はその影響を受けにくい。
• 標準max-productおよびsum-product BPは混合推論問題において性能が著しく劣り、結合強度σが増加するに従い性能のトレードオフが顕著に現れる。
• Jiangら（2011）のハイブリッドメッセージパッシングおよびEMは、提案手法のプロキシマルおよび混合積手法に比べて性能が劣り、EMはしばしば著しく劣る。
• 提案手法は、特にmax変数に複雑な依存構造を有する困難な設定において、既存手法を顕著に上回る性能を発揮する。