[論文レビュー] Optimality of Approximate Inference Algorithms on Stable Instances

Hunter Lang, David Sontag+1 more|arXiv (Cornell University)|Nov 6, 2017

Neural Networks and Applications被引用数 3

ひとこと要約

本稿は、反強磁性的なPottsモデルにおける2つの広く使われている近似推論アルゴリズム—LP緩和とα拡張—が、理論的に最適MAP解を正確に回復する条件を確立する。 (p,q)-安定性条件を導入し、LP緩和は(2,1)-安定性下で正確であり、α拡張は(1,2)-安定性下で正確であると示し、最悪ケースの保証を超えて現実のインスタンスで強い実効性を示す理由を説明する。

ABSTRACT

Approximate algorithms for structured prediction problems---such as LP relaxations and the popular alpha-expansion algorithm (Boykov et al. 2001)---typically far exceed their theoretical performance guarantees on real-world instances. These algorithms often find solutions that are very close to optimal. The goal of this paper is to partially explain the performance of alpha-expansion and an LP relaxation algorithm on MAP inference in Ferromagnetic Potts models (FPMs). Our main results give stability conditions under which these two algorithms provably recover the optimal MAP solution. These theoretical results complement numerous empirical observations of good performance.

研究の動機と目的

• 構造予測における近似推論アルゴリズムの理論的最悪ケース保証と、強力な実効性の間のギャップを説明すること。
• NP困難であるにもかかわらず、MAP推論が実行可能であるとされる現実のインスタンスの構造的性質を同定すること。
• LP緩和やα拡張といった人気アルゴリズムが正確な解を達成する安定性条件を形式化すること。
• 実践においてα拡張とLP緩和のロバスト性と近似的最適性に対する理論的根拠を提供すること。

提案手法

• エッジおよびノードコストの摂動に基づき、インスタンスの実行可能性のための正式な条件として(p,q)-安定性を導入する。
• LP緩和の分析を通し、(2,1)-安定性下で分数解がタイトであることを示し、丸め手法と整数ギャップ解析を用いる。
• 安定インスタンスにα拡張アルゴリズムを適用し、すべての拡張移動が最適性を保つことを証明し、アルゴリズムがグローバル最適解に収束することを示す。
• 敵対的摂動を用いて安定性をテストする：(1,2)-安定インスタンスではLP解は分数のまま；(2,1)-安定インスタンスではα拡張が失敗する可能性がある。
• ε-近い分数解を拡張移動を介して整数ラベル割り当てに写像する丸めフレームワークを採用する。
• (1,2)-安定インスタンスでは、拡張移動による単調な改善のおかげで、初期化に依存せず常に最適解に到達することを証明する。

実験結果

リサーチクエスチョン

• RQ1 反強磁性的PottsモデルにおけるMAP推論のためのLP緩和が、実際には整数的かつ最適な解をもたらす条件は何か？
• RQ2 α拡張アルゴリズムは最悪ケースで2-近似であるにもかかわらず、なぜ一貫して最適解に近い解を発見できるのか？
• RQ3 安定性条件は、α拡張の初期ラベル割り当ての選択に対して観察されるロバスト性を説明できるか？
• RQ4 α拡張とLP緩和が最適解を確実に回復するための正式な安定性基準は存在するか？
• RQ5 逆の安定性条件下で安定なインスタンスでは、これらのアルゴリズムが失敗するのか？

主な発見

• LP緩和は(2,1)-安定インスタンスでは理論的に正確であり、摂動された構成におけるノードコストがエッジコストの2倍以下である場合に成立する。
• α拡張アルゴリズムは(1,2)-安定インスタンスでは、初期化に依存せず、拡張移動による単調な改善のおかげで常に最適解に到達する。
• 反例により、LP緩和が(1,2)-安定インスタンスで分数解を生成することが示され、条件がLPのタイトさを保証するものではないことが証明された。
• 別の反例により、α拡張が(2,1)-安定インスタンスで最適解に到達しない可能性があることが示され、安定性条件がα拡張に対して必要かつ十分ではないことが示された。
• (2,2)-安定インスタンスでは、LP緩和とα拡張の両方が正確であり、両アルゴリズムが最適性に到達する強い安定性の領域が存在することが示された。
• 結果は、α拡張の実効的ロバスト性を説明する：安定インスタンスでは、エネルギーの局所的構造がすべての拡張移動がグローバル最適解へ向かうことを保証する。