[论文解读] Improving Asymptotic Variance of MCMC Estimators: Non-reversible Chains are Better

Radford M. Neal|ArXiv.org|Jul 15, 2004

Markov Chains and Monte Carlo Methods参考文献 14被引用 49

一句话总结

本文提出一种方法，可将任意有限状态空间上的可逆马尔可夫链转换为在扩展状态空间上的不可逆链，从而降低或保持MCMC估计器的渐近方差。通过避免回溯转移（即链返回到前一状态），新链通过战略性地扩展状态空间和顺序更新，实现了更低的渐近方差，表明不可逆链在MCMC估计中具有根本性的更高效率。

ABSTRACT

I show how any reversible Markov chain on a finite state space that is irreducible, and hence suitable for estimating expectations with respect to its invariant distribution, can be used to construct a non-reversible Markov chain on a related state space that can also be used to estimate these expectations, with asymptotic variance at least as small as that using the reversible chain (typically smaller). The non-reversible chain achieves this improvement by avoiding (to the extent possible) transitions that backtrack to the state from which the chain just came. The proof that this modification cannot increase the asymptotic variance of an MCMC estimator uses a new technique that can also be used to prove Peskun's (1973) theorem that modifying a reversible chain to reduce the probability of staying in the same state cannot increase asymptotic variance. A non-reversible chain that avoids backtracking will often take little or no more computation time per transition than the original reversible chain, and can sometime produce a large reduction in asymptotic variance, though for other chains the improvement is slight. In addition to being of some practical interest, this construction demonstrates that non-reversible chains have a fundamental advantage over reversible chains for MCMC estimation. Research into better MCMC methods may therefore best be focused on non-reversible chains.

研究动机与目标

• 证明不可逆马尔可夫链在MCMC估计中可实现低于可逆链的渐近方差。
• 提出一种通用构造方法，将任意可逆、不可约的马尔可夫链转换为在扩展状态空间上的不可逆链，且保证渐近方差不会增加。
• 表明避免回溯转移（即返回到前一状态）可显著减少类似随机游走的行为，从而提升采样效率。
• 提出一种基于块分解和采样分层的新型分析技术，证明方差降低，且不依赖于可逆性。
• 主张未来对高效MCMC方法的研究应优先考虑不可逆链，因其在方差降低方面具有根本性优势。

提出的方法

• 将原始状态空间扩展为状态对（当前状态和前一状态），构成不可逆链的新状态空间。
• 定义两步更新机制：首先交换状态对的两个分量；其次对第二个分量执行修改后的吉布斯采样更新，以避免停留在原地。
• 通过顺序应用可逆核（交换和吉布斯更新）整体构造不可逆转移核。
• 采用一种新颖的证明技术，将链按受修改影响的转移所界定的块进行划分，证明块间采样分层可降低渐近方差。
• 利用delta方法和多变量中心极限定理，将渐近方差分解为依赖于不同状态停留时间比例的分量。
• 证明该修改仅通过引入分层影响方差分解，而分层不会增加方差，通常还会降低方差。

实验结果

研究问题

• RQ1 能否从一个可逆链构造出一个不可逆链，使得MCMC估计器的渐近方差不增加？
• RQ2 避免回溯转移（即返回到前一状态）是否能降低MCMC估计器的渐近方差？
• RQ3 不可逆链相比其可逆对应物，通过何种理论机制实现更低的方差？
• RQ4 能否基于块分解和分层的新型证明技术，在不依赖可逆性的前提下建立MCMC中的方差降低结果？
• RQ5 渐近方差的改善在多大程度上取决于原始可逆链的结构？

主要发现

• 所提出的不可逆链构造保证了MCMC估计器的渐近方差至少与原始可逆链一样小，通常更小。
• 改进源于避免回溯，从而抑制了可逆链固有的缓慢扩散型随机游走行为。
• 该转换在每步转移的计算时间上几乎不增加，计算效率高。
• 在回溯抑制导致长时间方向性移动的情况下，渐近方差的降低可能极为显著。
• 对于其他链，改进可能较小，但该方法仍确保性能不会退化。
• 新证明技术不仅确立了方差降低的结果，还提供了一个清晰且可推广的框架，可应用于其他MCMC修改，包括对Peskun定理的新证明。