[論文レビュー] Partial Optimality by Pruning for MAP-Inference with General Graphical Models

Paul Swoboda, Alexander Shekhovtsov+3 more|arXiv (Cornell University)|Oct 24, 2014

Error Correcting Code Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、一般の離散マルコフ確率場におけるMAP推論において、持続的にラベル付けされた変数を同定するための新規な多項式時間アルゴリズムを提案する。この手法は、凸緩和（局所ポリトープ）の整数解に適用されるプルーニング戦略に基づく。さまざまなデータセット、特に高次元ポテンシャルや大規模なラベル空間を含むものにおいて、既存の手法よりも顕著に多くの持続的変数を同定する。また、任意のグラフィカルモデルやソルバーに適用可能である。

ABSTRACT

We consider the energy minimization problem for undirected graphical models, also known as MAP-inference problem for Markov random fields which is NP-hard in general. We propose a novel polynomial time algorithm to obtain a part of its optimal non-relaxed integral solution. Our algorithm is initialized with variables taking integral values in the solution of a convex relaxation of the MAP-inference problem and iteratively prunes those, which do not satisfy our criterion for partial optimality. We show that our pruning strategy is in a certain sense theoretically optimal. Also empirically our method outperforms previous approaches in terms of the number of persistently labelled variables. The method is very general, as it is applicable to models with arbitrary factors of an arbitrary order and can employ any solver for the considered relaxed problem. Our method's runtime is determined by the runtime of the convex relaxation solver for the MAP-inference problem.

研究の動機と目的

• 無向グラフィカルモデルにおけるNP困難なMAP推論において、最適解に含まれることが保証される変数を同定する課題に対処すること。
• 任意の順序のポテンシャルおよびラベル空間に適用可能な、一般的で効率的かつ理論的裏付けのある手法を開発すること。
• 凸緩和の解を活用し、新たな最適性基準に基づく反復的プルーニングを用いることで、既存の持続的基準を改善すること。
• 残りのラベルなし変数に対してより強力な正確なソルバーを効果的に使用でき、より効率的にグローバル最適性を達成すること。
• プルーニング戦略が理論的に最適であり、同時に同定される持続的変数の数において実験的に優れている手法を提供すること。

提案手法

• 手法は、MAP推論問題の凸緩和、特に局所ポリトープ緩和の整数解から出発する。
• 部分最適性の条件を満たさない変数を反復的に削除する、新規なプルーニング基準を適用する。
• 理論的分析から導かれたこのプルーニング基準により、残存する変数が持続的に最適であることが保証される。
• 任意の局所ポリトープ緩和ソルバー（近似ソルバーや特化ソルバーを含む）と互換性がある。
• 実行時間は主に凸緩和ソルバーに依存するため、大規模なインスタンスに対してもスケーラブルである。
• 先行研究で提示された最大持続的問題の特殊ケースを理論的最適性保証とともに解けることが示された。

実験結果

リサーチクエスチョン

• RQ1 任意の順序のグラフィカルモデルにおけるMAP推論において、持続的に最適な変数を同定する一般的で効率的な手法を開発できるか？
• RQ2 提案手法のプルーニング戦略は、既存のルーフ双対性およびラベルテスト手法と比較して、同定される持続的変数の数においてどのように差をつけるか？
• RQ3 先行手法が失敗する大規模なラベル空間や高次元ポテンシャルを有するモデルに対しても、本手法は効果的に適用可能か？
• RQ4 本手法のプルーニング基準は、明確に定義された意味で理論的に最適であるか？また、既存の持続的フレームワークとどのように関係するか？
• RQ5 大規模問題に効率的にスケーリング可能でありながら、高い持続的率を維持できるか？

主な発見

• 提案手法は、すべてのデータセットにおいて、大規模なラベル空間や高次元ポテンシャルを含むものにおいて、すべての比較対象手法を上回って持続的変数を同定した。
• Pottsモデルのデータセットでは、teddyインスタンスで変数の3分の1以上を持続的に同定したが、他の手法では同定できなかった。
• panoおよびfamily photomontageデータセットでは、MQPBOを上回る顕著な数の持続的変数を同定した。特にpanoでは、変数の3分の1以上を同定した。
• タンパク質のサイドチェーン予測データセットでは、約25％の持続的ラベルを達成し、ルーフ双対性に基づく手法と同等の性能を示したが、他のデータセットほどではなかった。
• 2値の高次元セルトラッキング問題では、他の手法が適用不可能または不実用的であった状況でも、持続的変数を効果的にラベル付けできた。
• 高次元の多値幾何的表面ラベリングタスクでは、本手法が唯一の三項項に適用可能な手法であり、他の手法が同定できなかった持続的変数を効果的に同定した。