[论文解读] General-Purpose MCMC Inference over Relational Structures

Brian Milch, Stuart Russell|arXiv (Cornell University)|Jun 27, 2012

Data Quality and Management参考文献 23被引用 55

一句话总结

本文提出了一种通用的MCMC推理框架，用于关系结构，通过部分世界表示和上下文特定贝叶斯网络，实现高效、与应用无关的概率推理。实验表明，在特定条件下，基于部分世界的MCMC可产生正确结果，并在引文匹配任务中达到与专用系统相当的性能。

ABSTRACT

Tasks such as record linkage and multi-target tracking, which involve reconstructing the set of objects that underlie some observed data, are particularly challenging for probabilistic inference. Recent work has achieved efficient and accurate inference on such problems using Markov chain Monte Carlo (MCMC) techniques with customized proposal distributions. Currently, implementing such a system requires coding MCMC state representations and acceptance probability calculations that are specific to a particular application. An alternative approach, which we pursue in this paper, is to use a general-purpose probabilistic modeling language (such as BLOG) and a generic Metropolis-Hastings MCMC algorithm that supports user-supplied proposal distributions. Our algorithm gains flexibility by using MCMC states that are only partial descriptions of possible worlds; we provide conditions under which MCMC over partial worlds yields correct answers to queries. We also show how to use a context-specific Bayes net to identify the factors in the acceptance probability that need to be computed for a given proposed move. Experimental results on a citation matching task show that our general-purpose MCMC engine compares favorably with an application-specific system.

研究动机与目标

• 解决复杂关系任务（如记录链接和多目标跟踪）中高效概率推理的挑战。
• 克服现有专用MCMC实现的局限性，避免为每个应用定制状态表示和接受率计算。
• 通过通用Metropolis-Hastings算法将建模与推理解耦，实现通用推理。
• 通过识别有效性充分条件，确保使用部分世界状态时推理的正确性。
• 通过上下文特定贝叶斯网络仅识别接受率中必要的因子，提升计算效率。

提出的方法

• 将MCMC状态表示为可能世界的部分描述，降低状态空间复杂度。
• 定义在何种条件下，基于部分世界的MCMC可对查询产生正确的后验估计。
• 使用上下文特定贝叶斯网络，识别每个提议移动中接受率所需的必要因子。
• 将框架集成到通用概率建模语言（如BLOG）中，支持灵活的模型定义。
• 应用通用Metropolis-Hastings算法，并配合用户提供的提议分布，实现广泛适用性。
• 利用关系模型中的条件独立结构，在接受率评估过程中避免冗余计算。

实验结果

研究问题

• RQ1 基于部分世界的MCMC推理能否在关系概率模型中对查询产生正确的后验估计？
• RQ2 如何通过仅计算接受率中相关因子，提升MCMC推理的计算效率？
• RQ3 通用MCMC引擎在真实任务中，能在多大程度上达到专用系统的性能？
• RQ4 当状态仅表示可能世界的部分配置时，何种条件可确保MCMC采样的正确性？
• RQ5 如何利用上下文特定贝叶斯网络优化关系结构上MCMC的接受率计算？

主要发现

• 在特定条件下，基于部分世界的MCMC推理是有效的，可确保对查询的正确后验估计。
• 使用上下文特定贝叶斯网络可减少接受率评估中需计算的因子数量，提升效率。
• 通用MCMC引擎在引文匹配任务中达到与专用系统相当的性能。
• 该框架实现了可扩展推理，且无需为每个新应用定制状态表示或接受逻辑实现。
• 该方法在显著降低计算开销的同时保持了正确性，通过选择性因子评估实现。
• 实证结果证实，通用系统在准确性和效率方面均表现良好，展示了在真实世界关系推理任务中的实际可行性。