[論文レビュー] Message-Passing Algorithms for Quadratic Programming Formulations of MAP Estimation

Akshat Kumar, Shlomo Zilberstein|arXiv (Cornell University)|Feb 14, 2012

Error Correcting Code Techniques参考文献 18被引用数 11

ひとこと要約

この論文は、2項マルコフ確率場におけるMAP推定を解くためのメッセージパッシングアルゴリズムを、二次計画法（QP）の定式化を用いて提案する。凸でないQPに対しては、凹凸凸法（CCCP）を適用することで局所最適なアルゴリズムを導出し、凸QP緩和に対しては、グローバル収束性を示すアルゴリズムを導出する。CPLEXよりも10倍以上高速でありながら、合成的および実世界の問題において最大積和法（max-product）と同等またはそれ以上の性能を達成する。

ABSTRACT

Computing maximum a posteriori (MAP) estimation in graphical models is an important inference problem with many applications. We present message-passing algorithms for quadratic programming (QP) formulations of MAP estimation for pairwise Markov random fields. In particular, we use the concave-convex procedure (CCCP) to obtain a locally optimal algorithm for the non-convex QP formulation. A similar technique is used to derive a globally convergent algorithm for the convex QP relaxation of MAP. We also show that a recently developed expectation-maximization (EM) algorithm for the QP formulation of MAP can be derived from the CCCP perspective. Experiments on synthetic and real-world problems confirm that our new approach is competitive with max-product and its variations. Compared with CPLEX, we achieve more than an order-of-magnitude speedup in solving optimally the convex QP relaxation.

研究の動機と目的

• グラフィカルモデルにおける効率的かつ正確なMAP推定の課題に取り組む。
• MAP推定の二次計画法（QP）定式化に適したスケーラブルなメッセージパッシングアルゴリズムを開発する。
• 非凸QPに対して局所最適性を達成するとともに、凸QP緩和に対してグローバル収束性を実現する。
• 解の品質を維持しつつ、CPLEXのような従来のソルバーを上回る計算効率を実現する。
• CCCPフレームワークを用いて、既存のEMベースのQPアルゴリズムを統一的かつ再解釈する。

提案手法

• 論文は、2項マルコフ確率場におけるMAP推定を、非凸な二次計画問題（QP）として定式化する。
• 非凸QPを繰り返し解くために、凹凸凸法（CCCP）を適用し、局所最適なメッセージパッシングアルゴリズムを導出する。
• 凸QP緩和に対しては、同じCCCPフレームワークを用いて、グローバルに収束するメッセージパッシングアルゴリズムを導出する。
• 著者らは、QPベースのMAP推定におけるEMアルゴリズムが、CCCPの特殊ケースとして導出できることを示す。
• 収束性とスケーラビリティを保証するために、メッセージ更新を双対分解と部分勾配法を用いて計算する。
• 本手法は、合成的および実世界の推論タスクの両方で評価され、速度と精度の両面で検証される。

実験結果

リサーチクエスチョン

• RQ1 非凸QP定式化のMAP推定に、効果的なメッセージパッシングアルゴリズムを設計できるか？
• RQ2 メッセージパッシングを用いて、MAP推定の凸QP緩和に対してグローバル収束を達成できるか？
• RQ3 CCCPに基づくメッセージパッシング手法は、max-productおよびその変種と比べて、精度と速度の両面で優れているか？
• RQ4 提案手法は、CPLEXのような正確なソルバーをどれほど上回る計算効率を発揮できるか？
• RQ5 既存のEMベースのQPアルゴリズムは、CCCPフレームワークの下で統一的に解釈できるか？

主な発見

• CCCPに基づくメッセージパッシングアルゴリズムは、非凸QP定式化のMAP推定に対して局所最適解を達成する。
• 凸QP緩和は、CCCPのメッセージパッシング版を用いて、グローバルかつ効率的に解ける。
• 凸QP緩和を解く際、提案手法はCPLEXに対して10倍以上の高速化を達成する。
• 合成的および実世界の問題において、本手法はmax-productおよびその変種と同等またはそれ以上の精度と収束速度を示す。
• QPベースのMAP推定におけるEMアルゴリズムが、CCCPフレームワークの特殊ケースであることが示され、統一的解釈が可能になる。
• メッセージパッシングアプローチは、多様な推論タスクにおいて強力なスケーラビリティとロバスト性を示す。