[論文レビュー] Block Stability for MAP Inference

Hunter Lang, David Sontag+1 more|arXiv (Cornell University)|Oct 12, 2018

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、マルコフ確率的場（MRF）におけるMAP推論のための緩和された条件であるブロック安定性を導入し、ペairwise LP緩和が安定ブロック上で恒続的であることを示している。コンピュータビジョンのデータセットにおける実験的結果から、大きな安定ブロックが存在することが確認され、これは理論的最悪ケースの境界とは対照的に、LP緩和の広範な実験的恒続性を説明している。

ABSTRACT

To understand the empirical success of approximate MAP inference, recent work (Lang et al., 2018) has shown that some popular approximation algorithms perform very well when the input instance is stable. The simplest stability condition assumes that the MAP solution does not change at all when some of the pairwise potentials are (adversarially) perturbed. Unfortunately, this strong condition does not seem to be satisfied in practice. In this paper, we introduce a significantly more relaxed condition that only requires blocks (portions) of an input instance to be stable. Under this block stability condition, we prove that the pairwise LP relaxation is persistent on the stable blocks. We complement our theoretical results with an empirical evaluation of real-world MAP inference instances from computer vision. We design an algorithm to find stable blocks, and find that these real instances have large stable regions. Our work gives a theoretical explanation for the widespread empirical phenomenon of persistency for this LP relaxation.

研究の動機と目的

• 理論的最悪ケースの境界とは対照的に、しばしば正確なMAP解とほぼ同一の解を返すペアワイズLP緩和の広範な実験的恒続性を説明すること。
• 先行研究の強い安定性条件を緩和し、MRFの特定の部分（ブロック）が安定であれば十分であるというブロック安定性を導入すること。
• 現実世界のインスタンスにおいて安定ブロックを検出するためのアルゴリズムを開発し、その存在とサイズを検証すること。
• 実用的な構造的予測タスクにおけるLP緩和の成功をより強い理論的根拠で裏付けること。

提案手法

• 先行研究の（グローバルな）安定性の一般化としてブロック安定性を提案し、最適解がMRFの特定のブロック内での摂動に対して変わらないことのみを要件とする。
• ブロック安定性のもとで、ペアワイズLP緩和がその安定ブロック上で恒続的であることを証明する。つまり、そのブロック上ではLP解と正確なMAP解が一致する。
• 摂動解析を用いて安定な部分構造を繰り返し特定・検証することで、安定ブロックを同定するアルゴリズム2を設計する。
• 実世界のステレオビジョンおよびオブジェクトセグメンテーションのデータセットにそのアルゴリズムを適用し、ブロック安定性と恒続性を実験的に評価する。
• 自明な単一ノードブロックへの分解を避けるために、アルゴリズムにリクイーミング戦略を導入し、より大きな意味のある安定領域を優先する。
• 安定性とLP緩和に関する既存の理論的結果を活用し、それをブロックレベルの保証に拡張する。

実験結果

リサーチクエスチョン

• RQ1 緩和された安定性条件は、現実世界のMAP推論インスタンスにおけるペアワイズLP緩和の高い恒続性を説明できるか？
• RQ2 ステレオビジョンやオブジェクトセグメンテーションなどの実用的コンピュータビジョンデータセットに、大きな安定ブロックが存在するか？
• RQ3 現実的な計算制約のもとで、大規模なMRFにおいて安定ブロックを効率的に検出する方法は何か？
• RQ4 グローバル安定性や他の構造的仮定と比較して、ブロック安定性は恒続性の理論的基盤をより強く提供できるか？
• RQ5 Pottsモデルを超える他のMRFポテンシャルに対しても、ブロック安定性の枠組みを拡張できるか？

主な発見

• 提案されたブロック安定性条件下では、ペアワイズLP緩和が安定ブロック上で恒続的であることが確認され、高い実験的恒続性の理論的説明が得られた。
• ステレオビジョンおよびオブジェクトセグメンテーションのデータセットにおける実験的評価から、画像の意味的オブジェクトと整合する大きな安定ブロックが存在することが明らかになった。
• ステレオビジョンのインスタンスでは、変数の98–99％でLP解と正確なMAP解が一致しており、その高一致率は安定ブロックに起因している。
• アルゴリズムは1つ以上のノードを含む安定ブロックを検出しており、自明でないノード単位の安定性を超えた非自明な構造が存在することを示している。
• 一部のインスタンスで|S| = 1である安定ブロックが多数存在する現象は、アルゴリズムのリクイーミング戦略に起因するものであり、安定性の欠如によるものではない。
• ブロック安定性は一般枠組みである。他のポテンシャルについて(β,γ)-安定性が成立する場合、同様の恒続性保証がその場合にも拡張可能である。