[论文解读] Block Stability for MAP Inference

Hunter Lang, David Sontag+1 more|arXiv (Cornell University)|Oct 12, 2018

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了块稳定性（block stability）——一种用于马尔可夫随机场（MRF）中MAP推理的松弛条件，表明在稳定块上，成对LP松弛具有持久性。在计算机视觉数据集上的实证结果证实了存在较大的稳定区域，解释了尽管存在NP难性，LP松弛在实践中广泛存在的持久性现象。

ABSTRACT

To understand the empirical success of approximate MAP inference, recent work (Lang et al., 2018) has shown that some popular approximation algorithms perform very well when the input instance is stable. The simplest stability condition assumes that the MAP solution does not change at all when some of the pairwise potentials are (adversarially) perturbed. Unfortunately, this strong condition does not seem to be satisfied in practice. In this paper, we introduce a significantly more relaxed condition that only requires blocks (portions) of an input instance to be stable. Under this block stability condition, we prove that the pairwise LP relaxation is persistent on the stable blocks. We complement our theoretical results with an empirical evaluation of real-world MAP inference instances from computer vision. We design an algorithm to find stable blocks, and find that these real instances have large stable regions. Our work gives a theoretical explanation for the widespread empirical phenomenon of persistency for this LP relaxation.

研究动机与目标

• 解释成对LP松弛在MAP推理中表现出的实证持久性，即尽管存在理论上的最坏情况界，其解通常与精确MAP解几乎完全一致。
• 通过引入块稳定性，放宽先前研究中强稳定性条件的要求，即仅需实例中特定部分（块）保持稳定。
• 设计一种算法以检测真实世界实例中的稳定块，并验证其存在性与规模。
• 为LP松弛在实际结构化预测任务中的成功提供理论依据。

提出的方法

• 提出块稳定性作为先前（全局）稳定性的推广，要求仅在MRF的特定块内进行扰动时，最优解保持不变。
• 证明在块稳定性条件下，成对LP松弛在这些稳定块上具有持久性，即LP解在这些块上与精确MAP解一致。
• 设计算法2，通过迭代识别并利用扰动分析验证稳定子结构，实现对稳定块的检测。
• 将该算法应用于真实世界的立体视觉和目标分割数据集，实证评估块稳定性和持久性。
• 在算法中引入回收策略，避免将实例分解为单节点块的平凡情况，优先识别更大、更具语义意义的稳定区域。
• 利用现有的稳定性与LP松弛理论结果，将其扩展至块级别的保证。

实验结果

研究问题

• RQ1 一个松弛的稳定性条件是否能够解释真实世界MAP推理实例中成对LP松弛的高持久性？
• RQ2 在立体视觉和目标分割等实际计算机视觉数据集中，是否存在较大的稳定块？
• RQ3 在具有实际计算约束的大规模MRF中，如何高效检测稳定块？
• RQ4 与全局稳定性或其他结构假设相比，块稳定性是否能为持久性提供更强的理论基础？
• RQ5 该块稳定性框架能否推广至Potts模型以外的其他MRF势函数？

主要发现

• 在所提出的块稳定性条件下，成对LP松弛在稳定块上具有持久性，为高实证持久性提供了理论解释。
• 在立体视觉和目标分割数据集上的实证评估揭示了与图像语义对象对齐的大规模稳定块。
• 在立体视觉实例中，LP解在98–99%的变量上与精确MAP解一致，而这一高一致性由稳定块所解释。
• 该算法检测到大小大于一的稳定块，表明其超越了平凡的节点级稳定性，具有非平凡的结构。
• 某些实例中存在大量|S| = 1的稳定块，归因于算法的回收策略，而非稳定性不足。
• 块稳定性是一个通用框架：若其他势函数也满足(β,γ)-稳定性结果，则相同持久性保证可推广至这些情形。