[论文解读] Efficiently Searching for Frustrated Cycles in MAP Inference

David Sontag, Do Kook Choe+1 more|arXiv (Cornell University)|Oct 16, 2012

Formal Methods in Verification参考文献 18被引用 28

一句话总结

该论文提出了一种近乎线性时间的算法，以高效识别图模型中的最具挫折感的环路，通过环路一致性约束收紧松弛，显著改进了MAP推理的对偶分解。该方法通过动态发现长环路而非依赖预设的短环路，实现了关系分类和立体视觉等难题的精确解。

ABSTRACT

Dual decomposition provides a tractable framework for designing algorithms for finding the most probable (MAP) configuration in graphical models. However, for many real-world inference problems, the typical decomposition has a large integrality gap, due to frustrated cycles. One way to tighten the relaxation is to introduce additional constraints that explicitly enforce cycle consistency. Earlier work showed that cluster-pursuit algorithms, which iteratively introduce cycle and other higherorder consistency constraints, allows one to exactly solve many hard inference problems. However, these algorithms explicitly enumerate a candidate set of clusters, limiting them to triplets or other short cycles. We solve the search problem for cycle constraints, giving a nearly linear time algorithm for finding the most frustrated cycle of arbitrary length. We show how to use this search algorithm together with the dual decomposition framework and clusterpursuit. The new algorithm exactly solves MAP inference problems arising from relational classification and stereo vision.

研究动机与目标

• 解决图模型中因挫折环路导致的对偶分解在MAP推理中出现的大整数间隙问题。
• 克服先前聚类搜寻方法的局限性，这些方法仅通过显式枚举考虑短环路（例如三元组）。
• 开发一种可扩展的方法，用于发现长且任意长度的挫折环路，以收紧松弛并提升解的质量。
• 将环路搜索集成到对偶分解框架中，实现在困难的真实世界问题上的精确MAP推理。

提出的方法

• 提出一种近乎线性时间的算法，用于在图模型中搜索任意长度下最具挫折感的环路。
• 使用谱松弛和次梯度优化，高效识别具有高挫折感（即成对势能中高度不一致）的环路。
• 将环路检测集成到聚类搜寻框架中，动态添加环路一致性约束以收紧对偶松弛。
• 采用对偶分解方法，主问题通过迭代求解，子问题识别最违反的环路约束。
• 利用图模型的结构，避免对所有可能环路进行暴力枚举。
• 在类似分支定价的框架中应用该方法，以在保持可处理性的同时提高松弛的紧致性。

实验结果

研究问题

• RQ1 我们能否在不枚举所有可能环路的情况下，高效搜索任意长度下最具挫折感的环路？
• RQ2 动态发现长环路如何改善对偶分解在MAP推理中的整数间隙？
• RQ3 该方法能否使原本因短环路约束而难以求解的困难推理问题实现精确解？
• RQ4 与标准聚类搜寻方法相比，环路检测的计算成本如何？

主要发现

• 所提出的算法以近乎线性时间找到最具挫折感的环路，显著优于暴力枚举方法。
• 该方法使关系分类和立体视觉问题的精确MAP推理成为可能，而先前的方法因存在大整数间隙而失败。
• 通过动态添加环路约束，该算法比仅限于短环路的方法更有效地收紧对偶松弛。
• 该方法在实际真实世界问题中实现了精确解，证明了长环路约束在提升松弛质量方面的有效性。