[論文レビュー] Maximum Persistency via Iterative Relaxed Inference with Graphical Models

Alexander Shekhovtsov, Paul Swoboda+1 more|arXiv (Cornell University)|Aug 31, 2015

Machine Learning and Algorithms参考文献 36被引用数 6

ひとこと要約

本稿では、線形計画法（LP）緩和に基づく反復的緩和推論を用いて、離散的グラフィカルモデルにおける持続的最適および非最適ラベルを特定する多項式時間アルゴリズムを提案する。近似双対ソルバを活用することで、従来の正確な手法に比べてはるかにスケーラブルである一方で、単一の準最適ソルバ実行と同等の時間で動作するため、状態を最も高い水準で達成する。

ABSTRACT

We consider the NP-hard problem of MAP-inference for undirected discrete graphical models. We propose a polynomial time and practically efficient algorithm for finding a part of its optimal solution. Specifically, our algorithm marks some labels of the considered graphical model either as (i) optimal, meaning that they belong to all optimal solutions of the inference problem; (ii) non-optimal if they provably do not belong to any solution. With access to an exact solver of a linear programming relaxation to the MAP-inference problem, our algorithm marks the maximal possible (in a specified sense) number of labels. We also present a version of the algorithm, which has access to a suboptimal dual solver only and still can ensure the (non-)optimality for the marked labels, although the overall number of the marked labels may decrease. We propose an efficient implementation, which runs in time comparable to a single run of a suboptimal dual solver. Our method is well-scalable and shows state-of-the-art results on computational benchmarks from machine learning and computer vision.

研究の動機と目的

• 離散的無向グラフィカルモデルにおけるNP困難なMAP推論問題に対処し、最適解の一部に証明可能な保証をもって同定すること。
• すべての最適解に含まれる（持続的最適）またはすべての最適解から除外される（持続的非最適）ラベルを特定する手法を開発すること。
• （準最適な）LP緩和の双対ソルバのみを用いて、最大限の持続的ラベルを達成すること。
• 単一の準最適双対ソルバ呼び出しと同等の時間で実行されるようにすることで、実用的な効率性を確保すること。

提案手法

• 本手法は、MAP推論問題のLP緩和の双対解に基づく反復的推論プロセスを用いる。
• 双対解から導かれるテストラベリングを用いて、局所的およびグローバルな整合性チェックを通じて、最適でない可能性があるラベルを評価・除外する。
• 双対解を一時的ラベリングとして用い、持続的ラベルの十分条件を検証することで、ラベルの削除を実行する。
• ノードのプルーニング、ラベリングのプルーニング、高速メッセージパッシングなどの高速化技術を統合し、計算コストを低減する。
• 任意の（近似）双対ソルバと互換性を持つように設計されており、スケーラビリティと実用的導入を可能にする。
• 準最適な双対解であっても、持続的ラベルの主張の正しさを保証するが、マークされたラベル数は減少する可能性がある。

実験結果

リサーチクエスチョン

• RQ1 LP緩和の準最適双対ソルバのみを用いて、最大限の数のラベルを持続的最適または非最適と特定できるか？
• RQ2 計算コストが著しく増大するのを防ぎつつ、大規模なグラフィカルモデルに持続的ラベル手法をスケーリングできるか？
• RQ3 どのような反復的推論戦略が、保証された持続的ラベルの正確性を維持しながら効率性を達成できるか？
• RQ4 近似双対解のみを用いても、正確な手法と同等の持続的ラベルレベルを達成できるか？
• RQ5 異なる最適化高速化手法は、持続的ラベル品質と実行時間のトレードオフにどのように影響するか？

主な発見

• 正確なLP双対ソルバを用いた本手法は、先行研究で確立された理論的上限に一致する最大の持続的ラベルを達成する。
• 準最適双対ソルバ（例：TRW-S）を用いても、高い割合の持続的ラベルを同定可能であり、カラー分類ベンチマークでは最大99.95％の精度を示し、実用的性能が顕著に高い。
• タンパク質折りたたみおよびステレオビジョンベンチマークでは、それぞれ87.84％および73.56％の持続的ラベル率を達成し、MQPBO や [43] といった最先端手法を上回る。
• アルゴリズムは、単一の準最適双対ソルバ呼び出し（例：TRW-S）と同等の時間で実行され、大規模問題への実用的適用が可能である。
• ノードプルーニングや高速メッセージパッシングなどの高速化技術により、難易度の高いインスタンスでは実行時刻が最大98％まで短縮され、リアルタイム実行が可能になる。
• 近似双対解であっても、持続的ラベルの主張の正しさを維持するため、実用応用における信頼性が保証される。