[论文解读] Metropolis-Hastings with Averaged Acceptance Ratios

Christophe Andrieu, Sinan Yıldırım+2 more|arXiv (Cornell University)|Dec 29, 2020

Markov Chains and Monte Carlo Methods参考文献 29被引用 4

一句话总结

本文提出马尔可夫链蒙特卡洛（MCMC）新框架——平均接受率的梅特罗波利斯-黑斯廷斯方法（MHAAR），通过在多个独立提议中平均接受率，显著提升收敛至平稳分布的速度并降低遍历平均的方差。该方法保持目标分布为不变分布，支持高效并行计算，并在状态空间模型、变维数采样器及双重不可拒致似然模型等多种模型中展现出显著性能提升，尤其在缩短预烧期方面效果突出。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods to sample from a probability distribution $π$ defined on a space $(Θ,\mathcal{T})$ consist of the simulation of realisations of Markov chains $\{θ_{n},n\geq1\}$ of invariant distribution $π$ and such that the distribution of $θ_{i}$ converges to $π$ as $i ightarrow\infty$. In practice one is typically interested in the computation of expectations of functions, say $f$, with respect to $π$ and it is also required that averages $M^{-1}\sum_{n=1}^{M}f(θ_{n})$ converge to the expectation of interest. The iterative nature of MCMC makes it difficult to develop generic methods to take advantage of parallel computing environments when interested in reducing time to convergence. While numerous approaches have been proposed to reduce the variance of ergodic averages, including averaging over independent realisations of $\{θ_{n},n\geq1\}$ simulated on several computers, techniques to reduce the "burn-in" of MCMC are scarce. In this paper we explore a simple and generic approach to improve convergence to equilibrium of existing algorithms which rely on the Metropolis-Hastings (MH) update, the main building block of MCMC. The main idea is to use averages of the acceptance ratio w.r.t. multiple realisations of random variables involved, while preserving $π$ as invariant distribution. The methodology requires limited change to existing code, is naturally suited to parallel computing and is shown on our examples to provide substantial performance improvements both in terms of convergence to equilibrium and variance of ergodic averages. In some scenarios gains are observed even on a serial machine.

研究动机与目标

• 解决在似然函数不可拒致的复杂模型中，缺乏通用且高效的MCMC预烧期缩短方法的问题。
• 在不改变目标分布不变性的前提下，改进基于梅特罗波利斯-黑斯廷斯算法的收敛速度并降低遍历平均的方差。
• 通过解耦独立提议间多个接受率估计的计算，实现MCMC的高效并行化。
• 提供一个适用于广泛模型的通用框架，包括状态空间模型、变维数模型以及双重不可拒致分布。
• 开发一种计算效率更高的伪边缘MCMC替代方法，避免精确似然估计带来的高昂计算成本。

提出的方法

• 提出一种广义的梅特罗波利斯-黑斯廷斯算法（MHAAR），使用多个独立接受率估计器的平均值替代单一接受率。
• 通过从同一提议核中生成多个独立同分布的提议，计算多个接受率后取平均，形成单一接受概率。
• 通过合理构建接受率平均机制，确保细致平衡性，从而保持目标分布π为不变分布。
• 针对状态空间模型，提出MHAAR-RB（基于拒绝的）与MHAAR-S（子采样）变体，利用条件序蒙特卡洛（cSMC）无偏估计接受率。
• 在cSMC中利用反向抽样生成多个潜在路径估计，用于计算接受率的无偏估计器。
• 通过子采样技术，将每次迭代的计算成本从O(M²T)降低至O(NMT)，仅使用M×T个可能路径中的N条用于接受率估计器。

实验结果

研究问题

• RQ1 在不改变目标分布的前提下，对多个独立接受率估计值进行平均，能否改善梅特罗波利斯-黑斯廷斯算法的平稳分布收敛速度？
• RQ2 如何修改梅特罗波利斯-黑斯廷斯算法，以实现在保持细致平衡的前提下并行计算接受率？
• RQ3 MHAAR在状态空间模型与变维数采样器等复杂模型中，能在多大程度上缩短预烧期并降低遍历平均的方差？
• RQ4 MHAAR能否作为计算成本更低、混合性能更优的伪边缘MCMC的高效替代方案？
• RQ5 在大规模状态空间模型中，对潜在路径估计进行子采样对MHAAR的性能与计算成本有何影响？

主要发现

• 在隐马尔可夫模型中，MHAAR将积分自相关时间（IAC）降低了高达70%，当N=60时，IAC由3.5337×10³降至1.4047×10³。
• MHAAR-RB-R变体的IAC为0.4332×10³，显著低于MwPG的3.5337×10³，表明收敛更快且方差更低。
• 即使在串行机器上，MHAAR仍优于标准MCMC，证明其有效性不仅限于并行架构。
• MHAAR-S变体将计算成本从O(M²T)降低至O(NMT)，使大规模状态空间模型中海量潜在空间的应用成为可能。
• 如图7所示，MHAAR-S的集合平均值比MwPG与MHAAR-RB更快收敛至后验均值，证实其混合性能更优且预烧期更短。
• 该方法保持对目标分布π的精确不变性，确保在使用平均化与无偏接受率估计器的情况下仍具有效性。