[论文解读] Hamiltonian Annealed Importance Sampling for partition function estimation

Jascha Sohl‐Dickstein, Benjamin J. Culpepper|arXiv (Cornell University)|May 9, 2012

Bayesian Methods and Mixture Models参考文献 17被引用 22

一句话总结

本文提出哈密顿退火重要性采样（HAIS），一种通过结合退火重要性采样与哈密顿动力学，高效估计概率模型分区函数的方法。HAIS 显著提升了采样效率与收敛速度，使多种图像模型的对数似然估计更加准确，其中双线性生成模型虽参数更少，但仍优于其他模型。

ABSTRACT

We introduce an extension to annealed importance sampling that uses Hamiltonian dynamics to rapidly estimate normalization constants. We demonstrate this method by computing log likelihoods in directed and undirected probabilistic image models. We compare the performance of linear generative models with both Gaussian and Laplace priors, product of experts models with Laplace and Student's t experts, the mc-RBM, and a bilinear generative model. We provide code to compare additional models.

研究动机与目标

• 为解决概率模型中分区函数计算的不可行性问题，该问题阻碍了模型似然的直接评估。
• 提升自然图像块的有向与无向模型在对数似然估计方面的效率与准确性。
• 通过一种基本指标——对数似然，实现模型性能的直接、无偏比较，该指标常因计算挑战而被忽视。
• 证明 HAIS 能在多种模型架构中实现可靠且快速的似然估计收敛。

提出的方法

• 通过引入哈密顿动力学，扩展退火重要性采样（AIS），以生成更长且更高效的采样轨迹。
• 引入辅助动量变量，这些变量在中间分布间一致传播，与标准 AIS 中每一步重置动量的做法不同。
• 使用一系列从简单先验到目标模型的中间分布，哈密顿动力学引导它们之间的过渡。
• 采用跃迁积分方法模拟哈密顿动力学，保持细致平衡，确保分区函数的无偏估计。
• 将该方法应用于线性生成模型、专家乘积（POE）、mc-RBM 和双线性模型中的对数似然估计。
• 基于完整轨迹中加权样本的无偏重要性采样估计，权重由退火路径上能量差导出。

实验结果

研究问题

• RQ1 哈密顿动力学能否有效整合到退火重要性采样中，以提升采样效率与收敛速度？
• RQ2 HAIS 在估计图像模型对数似然时，与使用高斯或哈密顿转移的标准 AIS 相比表现如何？
• RQ3 在使用 HAIS 时，模型架构与先验分布（如拉普拉斯分布、学生 t 分布）对对数似然性能有何影响？
• RQ4 HAIS 能否可靠估计具有不可计算归一化常数的模型的对数似然，包括复杂生成模型？

主要发现

• HAIS 的收敛速度显著快于标准 AIS（无论使用高斯或哈密顿转移），所需中间分布数量最多减少一个数量级。
• 尽管使用更少的辅助变量，双线性生成模型在对数似然上仍优于其他模型，表明其具有更高的模型效率。
• 采用学生 t 先验或专家的模型比使用拉普拉斯先验的模型对数似然高出超过 7 nats，表明重尾分布带来显著性能提升。
• 在 36 维 PCA 数据上，mcRBM 表现不佳，可能是因为其在建模长程依赖方面的优势在低维图像块中未被充分利用。
• 采用拉普拉斯专家的 POE 模型性能有限，可能由于稀疏性不足，且未能对训练数据实现过拟合。
• HAIS 估计在所有测试模型中均收敛至真实对数似然值，验证了其无偏性与可靠性，适用于模型比较。