[论文解读] Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods

Marylou Gabrié, Grant M. Rotskoff+1 more|arXiv (Cornell University)|Jul 16, 2021

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

该论文提出了一种新方法，通过使用归一化流（normalizing flows）来加速马尔可夫链蒙特卡洛（MCMC）采样，方法是在MCMC采样器生成的数据上训练归一化流，采用直接KL散度（direct KL divergence）。该方法在多重模式后验分布中改善了混合性能，并实现了对贝叶斯证据的精确估计，在复杂、高维的示例中优于标准MCMC和变分推断。

ABSTRACT

Normalizing flows can generate complex target distributions and thus show promise in many applications in Bayesian statistics as an alternative or complement to MCMC for sampling posteriors. Since no data set from the target posterior distribution is available beforehand, the flow is typically trained using the reverse Kullback-Leibler (KL) divergence that only requires samples from a base distribution. This strategy may perform poorly when the posterior is complicated and hard to sample with an untrained normalizing flow. Here we explore a distinct training strategy, using the direct KL divergence as loss, in which samples from the posterior are generated by (i) assisting a local MCMC algorithm on the posterior with a normalizing flow to accelerate its mixing rate and (ii) using the data generated this way to train the flow. The method only requires a limited amount of \ extit{a~priori} input about the posterior, and can be used to estimate the evidence required for model validation, as we illustrate on examples.

研究动机与目标

• 解决在采样多重模式后验分布时MCMC混合缓慢的问题。
• 克服在后验分布复杂且远离基分布时，归一化流使用反向KL训练的局限性。
• 实现对贝叶斯证据 $ Z_* $ 的精确估计，这对模型比较和验证至关重要。
• 开发一种结合采样与优化的混合框架，利用MCMC生成的数据训练归一化流，以改善混合性能。
• 提供一种实用、数据驱动的方法，对后验结构的先验知识需求极低。

提出的方法

• 使用局部MCMC算法（例如未调整的朗之万动力学）生成后验样本，借助归一化流提升混合性能。
• 使用真实后验分布与流的前向推送分布之间的直接Kullback-Leibler（KL）散度来训练归一化流。
• 利用MCMC生成的样本作为流的训练数据，避免依赖对后验的先验知识。
• 采用可逆的、自回归的流架构来建模复杂、非高斯的后验密度。
• 使用训练好的流在MCMC中提出新状态，实现高接受率（例如在高维混合模型中达到约80%）。
• 通过公式 (5) 利用最终的流和MCMC样本估计贝叶斯证据 $ Z_* $，实现模型验证。

实验结果

研究问题

• RQ1 通过直接KL散度训练的归一化流是否能改善在多重模式后验分布中的MCMC混合性能？
• RQ2 使用MCMC生成的数据训练流，是否相比使用先验样本进行反向KL训练，能获得更优的后验近似？
• RQ3 该混合方法是否能无需额外昂贵技术，准确估计贝叶斯证据 $ Z_* $ ？
• RQ4 与标准MCMC或变分推断相比，该方法在高维、复杂后验分布中的表现如何？
• RQ5 初始化方式和先验知识对方法探索所有后验模式能力的影响如何？

主要发现

• 在10维高斯混合模型中，基于流的提议实现了约80%的接受率，表明探索效率极高。
• 混合模型中两个模式的相对统计权重估计误差很小，收敛至精确值。
• 在系外行星径向速度模型中，该方法成功采样了所有主要后验模式，包括因对 $ K $ 和 $ v_0 $ 进行最大似然步骤而被Joker算法遗漏的模式。
• 使用流引导的提议后，最终MCMC接受率达到了约60%，显著优于标准MCMC的混合性能。
• 通过最终的流和MCMC样本准确估计了贝叶斯证据 $ Z_* $，实现了模型验证。
• 该方法仅需有限的后验结构先验知识，不同模式初始化的链均成功实现了跨模式混合。