[论文解读] Continual Repeated Annealed Flow Transport Monte Carlo

Alexander Matthews, Michael Arbel+2 more|arXiv (Cornell University)|Jan 31, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出持续重复退火流传输蒙特卡洛方法（CRAFT），该方法将序列蒙特卡洛（SMC）与归一化流相结合，以提高采样效率和归一化常数估计的准确性。CRAFT 通过在退火温度之间最小化 KL 散度来训练流模型，利用 SMC 近似估计梯度，其方差更低、精度更高，优于以往的 AFT 方法以及基于 MCMC 的随机归一化流方法。

ABSTRACT

We propose Continual Repeated Annealed Flow Transport Monte Carlo (CRAFT), a method that combines a sequential Monte Carlo (SMC) sampler (itself a generalization of Annealed Importance Sampling) with variational inference using normalizing flows. The normalizing flows are directly trained to transport between annealing temperatures using a KL divergence for each transition. This optimization objective is itself estimated using the normalizing flow/SMC approximation. We show conceptually and using multiple empirical examples that CRAFT improves on Annealed Flow Transport Monte Carlo (Arbel et al., 2021), on which it builds and also on Markov chain Monte Carlo (MCMC) based Stochastic Normalizing Flows (Wu et al., 2020). By incorporating CRAFT within particle MCMC, we show that such learnt samplers can achieve impressively accurate results on a challenging lattice field theory example.

研究动机与目标

• 解决在从复杂、高维分布中采样时，标准 SMC 采样器存在的高方差与偏差问题。
• 克服使用归一化流进行变分推断时的局限性，例如模式寻找行为以及与复杂目标之间的拓扑不匹配问题。
• 将 MCMC 步骤与重采样整合进基于流的 SMC 框架，以增强表示能力与采样效率。
• 设计一种训练目标，通过 SMC 估计的 KL 散度，直接优化退火温度之间的流传输。
• 使学习得到的 CRAFT 采样器可作为复杂推断任务中粒子 MCMC 的快速、低方差内层循环。

提出的方法

• CRAFT 使用从简单先验到复杂目标的一系列退火分布，通过流模型将粒子在相邻温度之间进行传输。
• 训练目标为在每一步最小化流变换后的前一分布与下一退火分布之间的 KL 散度。
• 流优化的梯度通过 SMC 近似估计，其中流的梯度通过 KL 散度的路径导数计算。
• CRAFT 采用持续重复的训练循环：多次运行 SMC 并更新流模型，以提升泛化能力并减少样本补给问题。
• 该方法将 MCMC 步骤与 Metropolis-Hastings 接受准则及重采样相结合，从而在多模态和拓扑复杂的后验分布上实现稳健性能。
• 实际实现中，通过在验证损失上提前停止来防止流训练过程中的过拟合，同时使用独立的训练、验证与测试粒子集合。

实验结果

研究问题

• RQ1 将归一化流与 SMC 结合，是否能相比标准 AFT 方法，提升归一化常数估计的准确性和方差？
• RQ2 在 SMC 中对流模型进行持续重复训练，是否能减少样本补给问题，并改善高维或多重模态后验分布中的收敛性？
• RQ3 CRAFT 是否可作为复杂模型（如格点场论）中粒子 MCMC 框架的高效、低方差内层采样器？
• RQ4 在估计误差与计算成本方面，CRAFT 与基于 MCMC 的随机归一化流方法及标准 AFT 方法相比，实证表现如何？
• RQ5 CRAFT 中基于 KL 的训练目标在多大程度上缓解了使用流进行变分推断时常见的模式寻找行为？

主要发现

• CRAFT 显著降低了归一化常数估计的方差，相比 AFT 和基于 MCMC 的随机归一化流方法，尤其在高维设置下表现更优。
• 在格点场论中，基于 CRAFT 的粒子 MCMC 仅用更少的迭代次数和更低的方差，便实现了高度准确的后验估计。
• CRAFT 中的持续重复训练循环缓解了 AFT 中存在的样本补给问题，从而实现了更稳定、更准确的流学习。
• 在多个基准分布（包括多模态与重尾目标）上，CRAFT 在归一化常数估计与后验期望估计方面均优于 AFT。
• CRAFT 以更少的粒子数与更少的退火步数实现了更低的估计误差，展现出更高的采样效率。
• 实证结果表明，CRAFT 的基于流的 SMC 采样器在推理一致性与可靠性方面，优于标准 SMC 或独立的归一化流方法。