[论文解读] Anytime Marginal MAP Inference

Denis Deratani Mauá, Cassio P. de Campos|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用 10

一句话总结

本文提出了一种用于图模型中边际最大后验（MAP）推理的任意时间算法，利用有界树宽结构以确保多项式时间收敛并提供可证明的界。与Park和Darwiche的系统化搜索等先前方法相比，该算法在具有大量MAP变量和中等树宽的问题中表现更优，通过随时间动态改进上下界。

ABSTRACT

This paper presents a new anytime algorithm for the marginal MAP problem in graphical models. The algorithm is described in detail, its complexity and convergence rate are studied, and relations to previous theoretical results for the problem are discussed. It is shown that the algorithm runs in polynomial-time if the underlying graph of the model has bounded tree-width, and that it provides guarantees to the lower and upper bounds obtained within a fixed amount of computational resources. Experiments with both real and synthetic generated models highlight its main characteristics and show that it compares favorably against Park and Darwiche's systematic search, particularly in the case of problems with many MAP variables and moderate tree-width.

研究动机与目标

• 解决在大型或复杂网络中边际MAP推理的挑战，其中精确计算是不可行的。
• 开发一种任意时间算法，随时间推移逐步改进边际MAP解的界。
• 在固定计算资源限制下，为有界树宽模型提供关于界质量的理论保证。
• 在可扩展性和效率方面超越现有系统化搜索方法（如Park和Darwiche的方法）。
• 实现在具有大量MAP变量和中等树宽的现实世界和合成模型中的实际推理。

提出的方法

• 该算法使用分支定界框架，逐步构建边际MAP值的上下界。
• 利用图模型的有界树宽结构，确保每次迭代的时间复杂度为多项式时间。
• 该方法维护一组部分赋值，并利用动态规划高效计算部分MAP估计。
• 在每一步中，基于界收紧启发式方法选择最具前景的变量赋值进行扩展。
• 通过优先探索搜索空间中最具信息量的部分，动态地细化界。
• 随着计算时间的增加，该算法保证收敛到真实的边际MAP值。

实验结果

研究问题

• RQ1 能否设计一种用于边际MAP推理的任意时间算法，使其在计算时间增加时逐步提供更优的界？
• RQ2 与Park和Darwiche的系统化搜索方法相比，该算法在界质量与收敛速度方面表现如何？
• RQ3 在有界树宽假设下，能否为界的质量提供理论保证？
• RQ4 该算法是否能有效扩展到具有大量MAP变量和中等树宽的问题？
• RQ5 该算法是否能在合成模型和现实世界模型上均保持强劲性能？

主要发现

• 当底层图模型具有有界树宽时，该算法运行时间呈多项式时间，确保可扩展性。
• 在任何固定的计算预算下，该算法能提供边际MAP值的可证明上下界。
• 实验结果表明，该算法在具有大量MAP变量的问题中优于Park和Darwiche的系统化搜索方法。
• 该方法在中等树宽设置下，比先前方法更快获得更紧的界。
• 该算法的任意时间特性允许用户在任意时刻停止计算，仍能获得可靠的估计值和置信区间。
• 在合成模型和真实模型上的实证结果证实了该算法在多样化推理任务中的鲁棒性与高效性。