[論文レビュー] Tighter Linear Program Relaxations for High Order Graphical Models

Elad Mezuman, Daniel Tarlow+2 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 39被引用数 8

ひとこと要約

この論文は、高次ポテンシャル（HOP）と個々の変数の間の追加の整合性制約を課すことにより、高次グラフィカルモデルにおけるよりタイトな線形計画（LP）緩和を提案する。これらの制約によって緩和が強化されることで、低次および高次の項を併せ持つ困難な問題において推論の正確性が向上し、最適化のための効率的なメッセージパッシングアルゴリズムが導入され、標準的なLP緩和よりも優れた性能を発揮する。

ABSTRACT

Graphical models with High Order Potentials (HOPs) have received considerable interest in recent years. While there are a variety of approaches to inference in these models, nearly all of them amount to solving a linear program (LP) relaxation with unary consistency constraints between the HOP and the individual variables. In many cases, the resulting relaxations are loose, and in these cases the results of inference can be poor. It is thus desirable to look for more accurate ways of performing inference in these models. In this work, we study the LP relaxations that result from enforcing additional consistency constraints between the HOP and the rest of the model. We address theoretical questions about the strength of the resulting relaxations compared to the relaxations that arise in standard approaches, and we develop practical and efficient message passing algorithms for optimizing the LPs. Empirically, we show that the LPs with additional consistency constraints lead to more accurate inference on some challenging problems that include a combination of low order and high order terms.

研究の動機と目的

• 標準的なLP緩和が高次グラフィカルモデルにおいてしばしば緩い境界と悪い推論結果をもたらすという欠点を解消すること。
• 高次ポテンシャルと個々の変数の間の追加の整合性制約を用いて緩和を強化することで、推論の正確性を向上させること。
• タイトにされたLP緩和を最適化するための実用的で効率的なメッセージパッシングアルゴリズムを開発すること。
• 低次および高次の項を組み合わせたベンチマーク問題において、提案された緩和の性能向上を実証的に検証すること。

提案手法

• 標準的な単一変数の整合性に加え、高次ポテンシャルとその構成変数を結ぶ追加の整合性制約を導入する。
• これらの高次整合性制約を最適化問題に組み込むことで、より強いLP緩和を定式化する。
• タイトにされたLP緩和を効率的に解くための、双対分解に基づくメッセージパッシングアルゴリズムを設計する。
• 最適化中に違反する制約を動的に追加するためのカットプレーン法を用い、収束性と緩和のタイトさを向上させる。
• 高次ポテンシャルの構造を活用し、メッセージパッシングフレームワーク内で効率的な更新を実現することで、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 高次ポテンシャルと個々の変数の間の追加の整合性制約は、グラフィカルモデルにおけるLP緩和のタイトさにどのように影響するか？
• RQ2 提案されたタイトにされたLP緩和は、困難な問題において標準的手法と比較してより正確な推論結果をもたらすか？
• RQ3 高次整合性制約を強制する際の計算コストは何か？ また、効率的な最適化が達成可能か？
• RQ4 提案されたメッセージパッシングアルゴリズムは、収束性および解の品質の観点で、既存の手法と比較してどう異なるか？

主な発見

• 追加の整合性制約を含む提案されたLP緩和は、標準的手法と比較して著しく緩和をタイトにし、分配関数の境界をより良くする。
• 実証的結果から、低次および高次ポテンシャルを併せ持つベンチマーク問題において、推論の正確性が向上していることが示された。
• タイトにされた緩和に基づくメッセージパッシングアルゴリズムは、標準的なLPベースの手法と比較して収束が早く、より良い目的関数値を達成した。
• 困難な推論問題において、双対ギャップが効果的に低減され、高次整合性制約の価値が実証された。