[论文解读] Annealed Importance Sampling

Radford M. Neal|ArXiv.org|Mar 8, 1998

Bayesian Methods and Mixture Models被引用 118

一句话总结

本文提出了退火重要性采样（AIS），一种通过使用一系列中间分布将马尔可夫链蒙特卡洛（MCMC）与重要性采样相结合的方法，以生成加权样本。该方法能够在高维、多模态分布中准确估计期望和归一化常数，具有收敛性保证，并且相比标准MCMC，对收敛诊断的依赖性显著降低。

ABSTRACT

Simulated annealing - moving from a tractable distribution to a distribution of interest via a sequence of intermediate distributions - has traditionally been used as an inexact method of handling isolated modes in Markov chain samplers. Here, it is shown how one can use the Markov chain transitions for such an annealing sequence to define an importance sampler. The Markov chain aspect allows this method to perform acceptably even for high-dimensional problems, where finding good importance sampling distributions would otherwise be very difficult, while the use of importance weights ensures that the estimates found converge to the correct values as the number of annealing runs increases. This annealed importance sampling procedure resembles the second half of the previously-studied tempered transitions, and can be seen as a generalization of a recently-proposed variant of sequential importance sampling. It is also related to thermodynamic integration methods for estimating ratios of normalizing constants. Annealed importance sampling is most attractive when isolated modes are present, or when estimates of normalizing constants are required, but it may also be more generally useful, since its independent sampling allows one to bypass some of the problems of assessing convergence and autocorrelation in Markov chain samplers.

研究动机与目标

• 解决在标准MCMC方法因混合缓慢和收敛性差而难以从高维、多模态分布中抽样的挑战。
• 提供一种稳健的方法来估计归一化常数，这在贝叶斯推断和统计物理中至关重要。
• 通过使用一系列退火分布的独立样本，减少对MCMC中常见的收敛性评估和自相关诊断的依赖。
• 在孤立模式存在的问题中实现准确估计，因为传统重要性采样因提议分布不佳而失效。

提出的方法

• 该方法从一个简单的初始分布出发，通过类似温度的参数，逐步将分布从提议分布退火至目标分布，构建一系列中间分布。
• 对于每个样本，从上一个退火步骤的最终分布出发，运行一个马尔可夫链，以到达下一个分布，从而在中间分布之间生成一条路径。
• 重要性权重通过沿退火路径的未归一化密度比值的乘积计算，从而实现对目标分布下期望的加权估计。
• 重要性采样估计器使用归一化权重来计算期望，随着独立退火运行次数的增加，其收敛性可得到保证。
• 该方法通过依赖于最后一次退火步骤的独立样本，避免了对预 burn-in 阶段和收敛性诊断的需求。
• 该方法推广了顺序重要性采样，与热力学积分相关，但避免了对归一化常数比值的初步估计需求。

实验结果

研究问题

• RQ1 是否可以利用一系列马尔可夫链来定义一种在高维、多模态分布中表现良好的重要性采样分布？
• RQ2 在直接计算不可行的复杂分布中，如何准确估计归一化常数？
• RQ3 MCMC与重要性采样的结合是否能减少MCMC中对收敛性诊断和自相关性评估的依赖？
• RQ4 退火调度和中间分布对重要性权重方差有何影响？

主要发现

• 退火重要性采样能对目标分布下的期望提供一致估计，且随着独立样本数量的增加，收敛性可得到保证。
• 该方法能够准确估计归一化常数，这在贝叶斯模型比较和统计物理中尤其有价值。
• 与标准MCMC不同，AIS无需预 burn-in 阶段或收敛性诊断，因为各次运行的样本彼此独立。
• 归一化重要性权重的方差是主要误差来源，即使样本量很大，重尾权重分布仍可能导致不可靠估计。
• 当存在多模态性时，该方法尤其有效，因为退火路径使采样器能更有效地探索相距较远的模式，优于标准MCMC。
• 计算成本随维度线性增长，此外还需承担高维MCMC固有的混合缓慢问题，但在多模态设置下，该方法比标准MCMC更具鲁棒性。