[论文解读] Adaptive MCMC-Based Inference in Probabilistic Logic Programs

Arun Nampally, C. R. Ramakrishnan|arXiv (Cornell University)|Mar 24, 2014

Bayesian Modeling and Causal Inference参考文献 17被引用 6

一句话总结

本文提出了一种用于概率逻辑程序的自适应MCMC推断技术，该技术根据先前样本的反馈动态调整随机变量的提议分布。通过使用受强化学习启发的奖励传播来更新开关分布，该方法在似然度较低的证据条件下显著加速了对真实后验概率分布的收敛，实证结果表明在马尔可夫查询结构中收敛速度更快且采样效率更高。

ABSTRACT

Probabilistic Logic Programming (PLP) languages enable programmers to specify systems that combine logical models with statistical knowledge. The inference problem, to determine the probability of query answers in PLP, is intractable in general, thereby motivating the need for approximate techniques. In this paper, we present a technique for approximate inference of conditional probabilities for PLP queries. It is an Adaptive Markov Chain Monte Carlo (MCMC) technique, where the distribution from which samples are drawn is modified as the Markov Chain is explored. In particular, the distribution is progressively modified to increase the likelihood that a generated sample is consistent with evidence. In our context, each sample is uniquely characterized by the outcomes of a set of random variables. Inspired by reinforcement learning, our technique propagates rewards to random variable/outcome pairs used in a sample based on whether the sample was consistent or not. The cumulative rewards of each outcome is used to derive a new "adapted distribution" for each random variable. For a sequence of samples, the distributions are progressively adapted after each sample. For a query with "Markovian evaluation structure", we show that the adapted distribution of samples converges to the query's conditional probability distribution. For Markovian queries, we present a modified adaptation process that can be used in adaptive MCMC as well as adaptive independent sampling. We empirically evaluate the effectiveness of the adaptive sampling methods for queries with and without Markovian evaluation structure.

研究动机与目标

• 为解决标准MCMC采样在证据概率较低时于概率逻辑程序中效率低下的问题，避免高拒绝率。
• 开发一种自适应采样技术，在马尔可夫链探索过程中修改提议分布，以偏向与证据一致的样本。
• 通过学习跨样本的随机变量结果累积奖励，实现对条件概率分布的更快收敛。
• 将该方法扩展至支持具有马尔可夫评估结构的查询的自适应独立采样。
• 从收敛速度和计算成本两个方面，实证评估自适应MCMC与非自适应采样的性能表现。

提出的方法

• 该方法使用马尔可夫链，其中每个状态对应程序中随机变量（开关）结果定义的一个样本。
• 每次采样后，根据样本是否满足证据条件，将奖励传播至开关-结果对；与证据一致的样本获得正向奖励。
• 利用每个结果的累积奖励更新对应开关的提议分布，使未来采样更倾向于高奖励结果。
• 适应过程在每次采样后迭代执行，逐步将提议分布向状态空间中与证据一致的区域转移。
• 对于马尔可夫查询，采用改进的适应过程，使其可同时适用于自适应MCMC和自适应独立采样框架。
• 该方法利用Prolog风格的求值机制确保样本互斥，避免追踪解释历史的需要。

实验结果

研究问题

• RQ1 自适应MCMC采样能否提升在证据似然度较低的概率逻辑程序条件查询中的收敛速度？
• RQ2 基于样本一致性的奖励传播如何影响近似推理的效率与准确性？
• RQ3 在何种条件下，自适应分布会收敛至真实的后验概率分布？
• RQ4 该适应机制是否可推广至独立采样以及MCMC采样？
• RQ5 从收敛速率和计算成本的角度来看，自适应采样与非自适应采样的性能表现如何比较？

主要发现

• 在证据概率较低的查询中，自适应MCMC比非自适应MCMC收敛更快，例如在计算 P(reach(a,d) | reach(a,e)) 时，证据概率仅为 0.02882。
• 在可达性查询中，自适应采样将拒绝率从非自适应采样的 8% 降低至 1.5%，显著提升了采样效率。
• 在平衡括号字符串查询中，尽管每次迭代耗时接近两倍，自适应采样仍实现更快收敛，表明整体性能提升。
• 该方法在具有马尔可夫评估结构的查询中，理论上证明可收敛至正确的后验概率分布。
• 实证结果表明，自适应采样在高维或证据稀疏的场景中更为有效，此时标准MCMC因高拒绝率而表现欠佳。
• 即使未显式分解联合分布，该适应机制依然有效，使其适用于一般概率逻辑程序。