[論文レビュー] LPQP for MAP: Putting LP Solvers to Better Use

Patrick Pletscher, Sharon Wulff|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Algorithms参考文献 18被引用数 4

ひとこと要約

本稿では、線形計画法（LP）と二次計画法（QP）を組み合わせ、LPの対辺変数と単項ポテンシャルから導出されたQP同等の項との間のカルバック・ライバラー（KL）ダイバージェンスをペナルティ化することで、新たなMAP推論緩和手法LPQPを提案する。信念伝播とデュアル分解を用いることで、合成データおよび実世界のデータにおいて、標準的なLP緩和法よりも著しく優れた解を得ることができ、精度と収束性の両方が向上することが示された。

ABSTRACT

MAP inference for general energy functions remains a challenging problem. While most efforts are channeled towards improving the linear programming (LP) based relaxation, this work is motivated by the quadratic programming (QP) relaxation. We propose a novel MAP relaxation that penalizes the Kullback-Leibler divergence between the LP pairwise auxiliary variables, and QP equivalent terms given by the product of the unaries. We develop two efficient algorithms based on variants of this relaxation. The algorithms minimize the non-convex objective using belief propagation and dual decomposition as building blocks. Experiments on synthetic and real-world data show that the solutions returned by our algorithms substantially improve over the LP relaxation.

研究の動機と目的

• 一般エネルギー関数におけるMAP推論における標準的LP緩和法の限界を解決すること。
• LPとQP緩和法の長所を活かすために、ハイブリッドな定式化を構築すること。
• 信念伝播とデュアル分解を用いて非凸目的関数を効率的に最小化するアルゴリズムを開発すること。
• 合成データおよび実世界のデータセットにおいて、従来のLPベースの手法を上回る解の質を向上させること。
• KLダイバージェンスを介してLPとQP緩和法を組み合わせることで、MAP推論性能が向上することを示すこと。

提案手法

• LPの対辺補助変数と単項ポテンシャルから導出されたQP同等の項との間のカルバック・ライバラー（KL）ダイバージェンスをペナルティ化する新たな緩和法を提案する。
• KLダイバージェンスペナルティを介してLPとQP緩和法を統合する非凸最適化問題を定式化する。
• 信念伝播を、全体のアルゴリズムフレームワーク内での局所最適化エンジンとして用いる。
• デュアル分解を適用して問題を分解し、部分問題を調整することで収束性を向上させる。
• メッセージパッシングとデュアル分解をコアコンponentsとして用いた、2つの効率的なアルゴリズムを設計する。
• KLダイバージェンスを正則化子として用い、反復的に対辺変数の推定値を改善することで、非凸目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 KLダイバージェンスを介してLPとQP緩和法を組み合わせることで、標準的LP緩和法を上回るMAP推論が達成可能か？
• RQ2 提案されたLPQP緩和法は、従来のLPおよびQP手法と比較して、解の質と収束性においてどのように差が現れるか？
• RQ3 信念伝播とデュアル分解は、LPQPフレームワークにおける非凸目的関数の最小化に効果的に適用可能か？
• RQ4 ハイブリッド緩和法は、合成データおよび実世界のMAP推論問題の両方で優れた結果をもたらすか？
• RQ5 MAP推論の文脈において、KLダイバージェンスペナルティがLPとQP解を一致させる上で果たす影響は何か？

主な発見

• 提案されたLPQP手法は、合成データおよび実世界のデータセットにおいて、標準的LP緩和法と比較して顕著に解の質が向上することが示された。
• 実験の結果、LPQPに基づくアルゴリズムは、純粋なLPベースの手法と比較して、より良い目的値とより緊密な境界を達成している。
• KLダイバージェンスを正則化子として用いることで、単項ポテンシャルから導出されたQP同等の項と一致するLP対辺変数が効果的に制御された。
• 信念伝播とデュアル分解により、LPQPフレームワークにおける非凸目的関数の効率的最小化が可能になった。
• 本手法は多様な問題インスタンスにおいても頑健な性能を示し、強力な一般化可能性を示している。
• 結果から、QPベースの正則化と高度な分解技術を統合することで、LPソルバーのより良い活用が可能であることが確認された。