[论文解读] Improving the Accuracy and Efficiency of MAP Inference for Markov Logic

Sebastian Riedel|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 26被引用 163

一句话总结

本文提出了一种名为割平面推理（Cutting Plane Inference, CPI）的元算法，用于提升马尔可夫逻辑网络中最大后验概率（MAP）推理的准确性和效率。通过迭代地使用传统MAP求解器（如MaxWalkSAT或整数线性规划）求解小型、动态生成的子问题，CPI实现了更快的收敛速度和更高的准确性——尤其显著提升了MaxWalkSAT的性能，同时保持了基于ILP推理的精确性。

ABSTRACT

In this work we present Cutting Plane Inference (CPI), a Maximum A Posteriori (MAP) inference method for Statistical Relational Learning. Framed in terms of Markov Logic and inspired by the Cutting Plane Method, it can be seen as a meta algorithm that instantiates small parts of a large and complex Markov Network and then solves these using a conventional MAP method. We evaluate CPI on two tasks, Semantic Role Labelling and Joint Entity Resolution, while plugging in two different MAP inference methods: the current method of choice for MAP inference in Markov Logic, MaxWalkSAT, and Integer Linear Programming. We observe that when used with CPI both methods are significantly faster than when used alone. In addition, CPI improves the accuracy of MaxWalkSAT and maintains the exactness of Integer Linear Programming.

研究动机与目标

• 解决大规模马尔可夫逻辑网络中现有MAP推理方法存在的计算低效与准确性不足问题。
• 通过求解较小的、局部化的子问题而非一次性处理整个网络，降低大规模马尔可夫网络的复杂度。
• 在不牺牲解质量的前提下，提升启发式求解器（如MaxWalkSAT）的性能。
• 在通过问题分解显著减少运行时间的同时，保持整数线性规划（ILP）求解器的精确性。
• 开发一种通用的推理框架，兼容多种底层MAP求解器，适用于马尔可夫逻辑网络。

提出的方法

• CPI将MAP推理表述为混合整数线性规划（MILP）问题，并应用割平面法迭代优化解。
• 在每次迭代中，CPI根据当前变量赋值，识别并实例化马尔可夫逻辑网络的一个小而相关的子集。
• 对当前子问题应用传统MAP推理方法（如MaxWalkSAT或ILP），生成候选解。
• 从当前解生成割平面，以排除不可行或次优的赋值，从而细化全局问题的松弛。
• 该过程重复进行，直至收敛到满足所有约束或达到停止准则的解。
• 该方法通过动态添加约束（割）来消除分数解或不一致解，逐步收紧松弛。

实验结果

研究问题

• RQ1 迭代式子问题求解是否能提升大规模马尔可夫逻辑网络中MAP推理的效率？
• RQ2 割平面方法是否能提升启发式MAP求解器（如MaxWalkSAT）在关系学习任务中的准确性？
• RQ3 通过问题分解是否能在减少运行时间的同时保持整数线性规划的精确性？
• RQ4 当应用于真实世界的NLP任务（如语义角色标注）时，CPI与标准MAP推理相比表现如何？
• RQ5 在CPI框架中使用不同底层求解器（MaxWalkSAT与ILP）时，其影响是什么？

主要发现

• 与CPI结合后，MaxWalkSAT相比直接在全网络上运行，收敛速度显著加快，且解的准确性得到提升。
• CPI在保持精确性的同时，显著减少了基于整数线性规划推理的运行时间，使大规模问题的精确推理成为可能。
• 在语义角色标注任务中，CPI与MaxWalkSAT结合在速度和F1值上均优于标准MAP推理。
• 在联合实体消解任务中，CPI与ILP结合在保持精确性的同时，相比全网络ILP求解显著减少了运行时间。
• 该方法在不同底层求解器上均表现出一致的性能提升，表明其作为元算法具有良好的鲁棒性。
• 迭代式子问题生成与割平面精炼过程有效缩小了搜索空间，且未损害解的质量。