[论文解读] Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals

James A. Brofos, Marylou Gabrié+2 more|arXiv (Cornell University)|Oct 25, 2021

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出了一种自适应独立的梅特罗波利斯-黑斯廷斯采样器，使用归一化流作为提议分布，并在采样过程中通过随机梯度下降更新其参数。该方法在温和条件下确保收敛至目标分布，并在复杂目标分布（包括具有多模态结构的1D $φ^4$场论模型）上表现出优越的混合性能和采样效率。

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods are a powerful tool for computation with complex probability distributions. However the performance of such methods is critically dependant on properly tuned parameters, most of which are difficult if not impossible to know a priori for a given target distribution. Adaptive MCMC methods aim to address this by allowing the parameters to be updated during sampling based on previous samples from the chain at the expense of requiring a new theoretical analysis to ensure convergence. In this work we extend the convergence theory of adaptive MCMC methods to a new class of methods built on a powerful class of parametric density estimators known as normalizing flows. In particular, we consider an independent Metropolis-Hastings sampler where the proposal distribution is represented by a normalizing flow whose parameters are updated using stochastic gradient descent. We explore the practical performance of this procedure on both synthetic settings and in the analysis of a physical field system and compare it against both adaptive and non-adaptive MCMC methods.

研究动机与目标

• 开发一种理论基础坚实的自适应MCMC方法，实现在采样过程中持续更新归一化流参数。
• 将自适应MCMC的收敛性理论扩展至包含归一化流提议，确保在温和条件下实现几何遍历性。
• 提升高维和多模态分布中的采样效率，如统计场论中出现的分布。
• 通过基于梯度的自适应方法在采样过程中学习提议分布，解决MCMC中参数调优的挑战。
• 在合成目标和物理场系统上对方法进行实证验证，展示更快的混合速度和更精确的统计估计。

提出的方法

• 该方法使用独立的梅特罗波利斯-黑斯廷斯采样器，其中提议分布为在步骤 $n$ 参数化为 $\theta_n$ 的归一化流。
• 参数 $\theta_n$ 基于目标分布与提议分布之间的对数密度比，使用随机梯度下降进行更新。
• 自适应规则定义为 $\theta_n = \theta_{n-1} - \epsilon \nabla_\theta \log \frac{\tilde{\pi}_{\theta_{n-1}}(\tilde{X})}{\pi(\tilde{X})}$，以概率 $1 - \alpha_{n-1}$ 更新，否则保留 $\theta_{n-1}$。
• 通过当前流生成的接受样本更新提议分布，实现基于伪似然的自适应策略。
• 在理论分析中使用混合分布，以确保统一遍历性并防止提议分布退化。
• 通过度量空间中转移核的连续性以及马尔可夫链族的统一遍历性，建立理论收敛性。

实验结果

研究问题

• RQ1 在独立梅特罗波利斯-黑斯廷斯采样器中，持续自适应归一化流参数在何种条件下能保持收敛至目标分布？
• RQ2 归一化流提议的随机梯度自适应是否能导致自适应MCMC中的几何遍历性？
• RQ3 与非自适应和标准MCMC方法相比，自适应归一化流MCMC在多模态和高维目标上的性能如何？
• RQ4 该方法能否高效地从具有相变和强能量壁垒的 $\phi^4$ 场论模型中采样？
• RQ5 伪似然目标在采样过程中对稳定和加速自适应过程起到何种作用？

主要发现

• 在归一化流和目标密度的温和正则性条件下，使用归一化流提议的自适应MCMC方法可实现几何遍历性。
• 即使从单一模式中的均匀初始状态开始，该方法仍能成功恢复 $\phi^4$ 场模型中的50/50模式权重。
• 由于提议分布的自适应学习，马尔可夫链在两个模式间实现了有效混合，而标准拉普拉斯采样器在合理时间内无法实现混合。
• 在整个采样过程中接受率保持较高水平，表明归一化流能有效适应目标分布。
• 使用批量梯度更新的伪似然目标可实现稳定且高效的参数自适应。
• 理论框架支持确定性和随机自适应方案，拓宽了其在真实世界MCMC工作流中的适用性。