[论文解读] A Gibbs Sampling Alternative to Reversible Jump MCMC

Stephen G. Walker|ArXiv.org|Feb 24, 2009

Markov Chains and Monte Carlo Methods参考文献 1被引用 4

一句话总结

本文提出了一种新颖的吉布斯采样方法，作为可逆跳跃MCMC在未知维度的贝叶斯模型比较中的更简单替代方案。通过引入辅助隐变量并实现相邻模型维度之间的条件转移，该方法避免了雅可比行列式调整和细致平衡的要求，同时通过参数和模型指标的条件采样保持了有效的后验计算。

ABSTRACT

This note presents a simple and elegant sampler which could be used as an alternative to the reversible jump MCMC methodology.

研究动机与目标

• 解决可逆跳跃MCMC在变维模型中计算复杂性和技术负担过重的问题。
• 为未知维度下的模型切换开发一种更直观且易于实现的采样方案。
• 在横维MCMC中消除雅可比行列式调整和细致平衡约束的需求。
• 提供一种不言自明、易于实现的算法，同时保持有效的后验推断。

提出的方法

• 引入隐变量 (θ(j); j ≠ k) 以促进不同大小模型之间的维度跳跃移动。
• 使用离散辅助变量 u 限制移动仅限于相邻维度 (k−1, k, k+1)，从而使转移概率可计算。
• 在固定 k 的情况下，从后验条件分布 πk(θ(k)|y, k) 中采样 θ(k)，如同标准吉布斯采样一样。
• 通过 p(θ(k+1)|θ(k)) 和 p(θ(k−1)|θ(k)) 条件采样 θ(k+1) 和 θ(k−1)，以实现维度跳跃。
• 从基于联合密度推导出的条件概率中采样下一个模型索引 j，使用 p(u|k) 控制移动方向。
• 采用条件采样规则 (1) 和 (2) 计算 P(j|u, y, θ, k)，其中公共隐变量被抵消。

实验结果

研究问题

• RQ1 能否设计一种吉布斯采样方法，在无需雅可比行列式调整的情况下实现横维移动？
• RQ2 如何在吉布斯框架下使维度跳跃提议在计算上可行且有效？
• RQ3 是否可能在保持正确后验采样的同时，消除横维MCMC中的细致平衡要求？
• RQ4 能否构建一种比可逆跳跃MCMC更简单、更直观的替代方法，避免复杂的算法解释？

主要发现

• 所提方法避免了可逆跳跃MCMC中作为主要技术障碍的雅可比行列式调整。
• 该算法不言自明且易于实现，无需解释复杂的提议机制。
• 通过依赖辅助隐变量进行维度跳跃，该方法保持了有效的后验计算。
• 当反向提议条件 (3) 成立时，转移概率简化为仅依赖于似然和先验，而无需参数转移密度。
• 该方法消除了强制实现细致平衡的压力，简化了有效移动的设计。
• 该方法被证明是可逆跳跃MCMC的可行且概念上更简单的替代方案，没有明显理由认为其性能会普遍更差。