[论文解读] Maximum Persistency via Iterative Relaxed Inference with Graphical Models

Alexander Shekhovtsov, Paul Swoboda+1 more|arXiv (Cornell University)|Aug 31, 2015

Machine Learning and Algorithms参考文献 36被引用 6

一句话总结

该论文提出了一种多项式时间算法，通过基于线性规划（LP）松弛的迭代松弛推理，识别离散图模型中的持久最优和非最优标签。通过利用近似对偶求解器，该方法实现了最先进的持久性——标记出更多标签为可证明的最优或非最优，同时运行时间与单次次优求解器运行相当，显著提升了先前精确方法的可扩展性。

ABSTRACT

We consider the NP-hard problem of MAP-inference for undirected discrete graphical models. We propose a polynomial time and practically efficient algorithm for finding a part of its optimal solution. Specifically, our algorithm marks some labels of the considered graphical model either as (i) optimal, meaning that they belong to all optimal solutions of the inference problem; (ii) non-optimal if they provably do not belong to any solution. With access to an exact solver of a linear programming relaxation to the MAP-inference problem, our algorithm marks the maximal possible (in a specified sense) number of labels. We also present a version of the algorithm, which has access to a suboptimal dual solver only and still can ensure the (non-)optimality for the marked labels, although the overall number of the marked labels may decrease. We propose an efficient implementation, which runs in time comparable to a single run of a suboptimal dual solver. Our method is well-scalable and shows state-of-the-art results on computational benchmarks from machine learning and computer vision.

研究动机与目标

• 为离散无向图模型中的NP难MAP推理问题提供解决方案，通过提供可证明保证，识别最优解中的一部分。
• 开发一种方法，将标签标记为持久最优（存在于所有最优解中）或持久非最优（从所有最优解中被排除）。
• 仅使用LP松弛的对偶求解器（即使该求解器为次优）实现最大持久性。
• 通过使算法运行时间与单次次优对偶求解器调用相当，确保实际效率。

提出的方法

• 该方法基于MAP推理问题的LP松弛的对偶解，采用迭代推理过程。
• 通过局部和全局一致性检查，利用源自对偶解的测试标签评估并消除不可能为最优的标签。
• 通过验证持久性的充分条件，利用对偶解作为暂定替代标签，执行标签消除。
• 集成节点剪枝、标签剪枝和快速消息传递等加速技术，以降低计算成本。
• 该方法可与任意（近似）对偶求解器兼容，从而实现可扩展性和实际部署。
• 即使使用次优对偶解，也能确保持久性声明的正确性，尽管标记的标签数量可能减少。

实验结果

研究问题

• RQ1 我们能否仅使用LP松弛的次优对偶求解器，识别出最大数量的持久最优或非最优标签？
• RQ2 如何在不产生禁止性计算成本的前提下，将持久性方法扩展到大规模图模型？
• RQ3 何种迭代推理策略能够在保持效率的同时提供可证明的持久性保证？
• RQ4 我们能否仅使用近似对偶解，实现与精确方法相当的持久性水平？
• RQ5 不同优化加速技术如何影响持久性质量与运行时间之间的权衡？

主要发现

• 使用精确LP对偶求解器时，所提方法实现了最大可能的持久性，与先前工作中建立的理论上限完全一致。
• 即使使用次优对偶求解器（如TRW-S），该方法仍能识别出极高比例的持久标签——在彩色分割基准上最高达99.95%，展现出强大的实际性能。
• 在蛋白质折叠和立体视觉基准上，该方法分别实现了87.84%和73.56%的持久性率，优于当前最先进方法如MQPBO和[43]。
• 该算法运行时间与单次次优对偶求解器调用（如TRW-S）相当，使其在大规模问题中极具实用性。
• 节点剪枝和快速消息传递等加速技术可将困难实例的运行时间减少高达98%，支持实时部署。
• 即使使用近似对偶解，该方法仍能保持持久性声明的正确性，确保在实际应用中的可靠性。