[论文解读] Message-Passing Algorithms for Quadratic Programming Formulations of MAP Estimation

Akshat Kumar, Shlomo Zilberstein|arXiv (Cornell University)|Feb 14, 2012

Error Correcting Code Techniques参考文献 18被引用 11

一句话总结

本文提出了一种基于二次规划（QP）公式化方法的消息传递算法，用于求解成对马尔可夫随机场中的MAP估计问题。通过应用凹-凸规划程序（CCCP），该方法为非凸QP问题推导出一种局部最优算法，并为凸QP松弛问题推导出一种全局收敛算法，在保持与CPLEX相当或更优性能的同时，实现了超过一个数量级的速度提升，且在合成与真实世界问题上表现优异。

ABSTRACT

Computing maximum a posteriori (MAP) estimation in graphical models is an important inference problem with many applications. We present message-passing algorithms for quadratic programming (QP) formulations of MAP estimation for pairwise Markov random fields. In particular, we use the concave-convex procedure (CCCP) to obtain a locally optimal algorithm for the non-convex QP formulation. A similar technique is used to derive a globally convergent algorithm for the convex QP relaxation of MAP. We also show that a recently developed expectation-maximization (EM) algorithm for the QP formulation of MAP can be derived from the CCCP perspective. Experiments on synthetic and real-world problems confirm that our new approach is competitive with max-product and its variations. Compared with CPLEX, we achieve more than an order-of-magnitude speedup in solving optimally the convex QP relaxation.

研究动机与目标

• 解决图形模型中高效且准确的MAP估计挑战。
• 为MAP估计的二次规划（QP）公式化方法开发可扩展的消息传递算法。
• 在非凸QP问题中实现局部最优性，同时在凸QP松弛问题中实现全局收敛性。
• 在保持解质量的前提下，提升相对于传统求解器（如CPLEX）的计算效率。
• 通过CCCP框架统一并重新解释现有的基于EM的QP算法。

提出的方法

• 本文将MAP估计公式化为成对马尔可夫随机场的非凸二次规划（QP）问题。
• 应用凹-凸规划程序（CCCP）迭代求解非凸QP问题，从而获得一种局部最优的消息传递算法。
• 对于凸QP松弛问题，利用相同的CCCP框架推导出一种全局收敛的消息传递算法。
• 作者证明，基于QP的MAP估计的EM算法可被视作CCCP框架的一个特例。
• 通过对偶分解和次梯度方法计算消息更新，以确保收敛性和可扩展性。
• 该方法在合成与真实世界推理任务上进行了评估，以衡量其速度与准确性。

实验结果

研究问题

• RQ1 能否为MAP估计的非凸QP公式化方法有效设计消息传递算法？
• RQ2 能否通过消息传递方法在MAP的凸QP松弛问题中实现全局收敛？
• RQ3 基于CCCP的消息传递方法在精度与速度方面与max-product及其变体相比如何？
• RQ4 所提出方法在计算效率方面能多大程度上超越精确求解器（如CPLEX）？
• RQ5 现有的基于EM的MAP估计QP算法能否在CCCP框架下实现统一？

主要发现

• 基于CCCP的消息传递算法可为非凸QP公式化的MAP估计问题提供局部最优解。
• 通过CCCP框架的变体，凸QP松弛问题可被全局且高效地求解。
• 在求解凸QP松弛问题时，所提方法相比CPLEX实现了超过10倍的速度提升。
• 在合成与真实世界问题上，该方法在精度与收敛速度方面与max-product及其变体相当或更优。
• EM算法用于基于QP的MAP估计被证明是CCCP框架的一个特例，从而提供了统一的解释视角。
• 该消息传递方法在多种推理任务中表现出强大的可扩展性与鲁棒性。