[论文解读] How to view an MCMC simulation as a permutation, with applications to parallel simulation and improved importance sampling

Radford M. Neal|arXiv (Cornell University)|May 1, 2012

Markov Chains and Monte Carlo Methods参考文献 19被引用 9

一句话总结

本文提出了一种新框架，将马尔可夫链蒙特卡洛（MCMC）模拟重新解释为在扩展状态空间上的随机置换或保体积映射，从而实现高效的并行模拟和改进的重要性抽样。通过将原始链嵌入具有均匀或不变测度的更大空间中，该方法确保了确定性、可逆的转移，保持了概率密度，从而支持共享随机数流，并在使用非随机或准随机数时仍能实现稳健估计。

ABSTRACT

Consider a Markov chain defined on a finite state space, X, that leaves invariant the uniform distribution on X, and whose transition probabilities are integer multiples of 1/Q, for some integer Q. I show how a simulation of n transitions of this chain starting at x_0 can be viewed as applying a random permutation on the space XxU, where U={0,1,...,Q-1}, to the start state (x_0,u_0), with u_0 drawn uniformly from U. This result can be applied to a non-uniform distribution with probabilities that are integer multiples of 1/P, for some integer P, by representing it as the marginal distribution for X from the uniform distribution on a suitably-defined subset of XxY, where Y={0,1,...,P-1}. By letting Q, P, and the cardinality of X go to infinity, this result can be generalized to non-rational probabilities and to continuous state spaces, with permutations on a finite space replaced by volume-preserving one-to-one maps from a continuous space to itself. These constructions can be efficiently implemented for chains commonly used in Markov chain Monte Carlo (MCMC) simulations. I present two applications in this context - simulation of K realizations of a chain from K initial states, but with transitions defined by a single stream of random numbers, as may be efficient with a vector processor or multiple processors, and use of MCMC to improve an importance sampling distribution that already has substantial overlap with the distribution of interest. I also discuss the implications of this "permutation MCMC" method regarding the role of randomness in MCMC simulation, and the potential use of non-random and quasi-random numbers.

研究动机与目标

• 开发一种方法，将MCMC转移重新解释为在扩展状态空间上的置换或保体积映射，以实现新的计算效率。
• 通过使用单个随机数流并行模拟来自不同初始状态的多个链，避免耦合现象并降低通信开销。
• 通过将MCMC转移应用于提议分布的样本，改进重要性抽样，利用随机数流保持正确权重，而无需求解复杂密度的逆函数。
• 探讨随机性在MCMC中的作用，并评估在MCMC模拟中使用非随机或准随机序列的可行性。
• 通过极限构造方法，将该方法推广至连续状态空间以及非均匀、非有理概率的情形。

提出的方法

• 通过引入辅助变量（例如均匀随机变量）扩展状态空间，将原始MCMC转移转换为确定性、可逆且保体积的映射。
• 将具有有理转移概率的离散MCMC链表示为有限乘积空间 X × U 上的置换，其中 U 为均匀辅助空间。
• 对于连续或非均匀分布，采用连续扩展，使得映射在扩展空间上保持勒贝格测度。
• 使用随机数序列定义置换或映射，确保最终状态分布与目标分布一致。
• 通过反向模拟（时间倒流）计算重要性抽样权重，通过从最终状态回溯到初始状态来追踪路径。
• 通过向量化R代码实现该方法，支持使用共享随机流的前向和反向MCMC更新。

实验结果

研究问题

• RQ1 MCMC模拟能否被重新表述为在扩展状态空间上的置换或保体积映射，以避免收缩行为？
• RQ2 如何使用单个随机数流在不引起耦合的情况下并行模拟多个MCMC链？
• RQ3 MCMC转移能否通过校正提议分布与目标分布之间的重叠，来改进重要性抽样提议？
• RQ4 该置换MCMC框架对在MCMC中使用非随机或准随机序列有何影响？
• RQ5 当多个初始状态导致相同最终状态时，如何可靠地计算重要性抽样权重？

主要发现

• 该方法成功地将具有收缩行为的MCMC转移转换为在扩展空间上的非收缩、可逆映射，保持了概率测度。
• 使用单个随机数流并行模拟多个链是可行的，当转移被定义为置换时，可避免耦合现象。
• 通过应用随机数量的MCMC步骤到提议样本上，可显著改进重要性抽样，且由于保体积性质，权重得以正确保持。
• 只要底层映射是可逆且保体积的，该方法允许在MCMC中使用非随机或准随机序列而不会损失有效性。
• 在测试案例中，改进的重要性抽样方法产生了稳定的估计，调整后的样本量接近名义上的 N，表明权重校准有效。
• R实现表明，反向模拟和权重计算在中等维度问题上计算上是可行且准确的。