[论文解读] Hamiltonian Monte Carlo with Energy Conserving Subsampling

Khue‐Dung Dang, Matias Quiroz+3 more|arXiv (Cornell University)|Aug 2, 2017

Markov Chains and Monte Carlo Methods参考文献 61被引用 12

一句话总结

本文提出能量守恒子采样（HMC-ECS），一种哈密顿蒙特卡洛方法，通过使用相同的子样本计算哈密顿动力学和梅特罗波利斯-哈斯廷斯接受步骤，实现高采样效率与能量守恒。该方法在大规模数据集上实现了显著降低计算成本的精确贝叶斯推断，优于SGLD和SG-HMC，且对中等质量的控制变量具有鲁棒性。

ABSTRACT

Hamiltonian Monte Carlo (HMC) samples efficiently from high-dimensional posterior distributions with proposed parameter draws obtained by iterating on a discretized version of the Hamiltonian dynamics. The iterations make HMC computationally costly, especially in problems with large datasets, since it is necessary to compute posterior densities and their derivatives with respect to the parameters. Naively computing the Hamiltonian dynamics on a subset of the data causes HMC to lose its key ability to generate distant parameter proposals with high acceptance probability. The key insight in our article is that efficient subsampling HMC for the parameters is possible if both the dynamics and the acceptance probability are computed from the same data subsample in each complete HMC iteration. We show that this is possible to do in a principled way in a HMC-within-Gibbs framework where the subsample is updated using a pseudo marginal MH step and the parameters are then updated using an HMC step, based on the current subsample. We show that our subsampling methods are fast and compare favorably to two popular sampling algorithms that utilize gradient estimates from data subsampling. We also explore the current limitations of subsampling HMC algorithms by varying the quality of the variance reducing control variates used in the estimators of the posterior density and its gradients.

研究动机与目标

• 通过在不牺牲采样效率的情况下实现高效子采样，解决哈密顿蒙特卡洛（HMC）在大规模数据场景下的计算瓶颈。
• 在使用数据子样本时，仍保持HMC的关键优势——对远距离提议的高接受概率。
• 提出一种有原则的子采样策略，其中动力学和接受决策均基于同一子样本，确保能量守恒。
• 评估该方法在后验密度和梯度估计中，对不同质量的方差减少控制变量的鲁棒性。
• 在高维后验分布上，通过采样效率和准确性，对HMC-ECS与SGLD和SG-HMC进行实证比较。

提出的方法

• 提出一种HMC-within-Gibbs框架，通过伪边缘梅特罗波利斯-哈斯廷斯步骤交替采样数据子样本，并基于当前子样本使用HMC更新参数。
• 引入两种变体：扰动HMC-ECS，其目标后验略有偏差，但在总变差距离下以O(n⁻¹m⁻²)速率收敛至真实后验；以及符号HMC-ECS，其利用重要性采样生成一致的后验期望估计器。
• 基于后验众数附近的泰勒展开，采用二阶控制变量以减少似然和梯度估计器的方差。
• 使用同一子样本同时模拟哈密顿动力学和计算MH接受比率，确保能量守恒和高接受概率。
• 应用零阶和一阶控制变量，评估方差减少中近似质量的敏感性。
• 使用辛积分器实现数值积分，以近似保持哈密顿能量随时间的守恒。

实验结果

研究问题

• RQ1 能否通过子采样数据高效扩展HMC至大规模数据集，同时保持高接受概率和高效探索？
• RQ2 在动力学和MH接受步骤中均使用同一数据子样本，是否能维持能量守恒和采样效率？
• RQ3 HMC-ECS对用于估计对数后验和其梯度的控制变量质量的敏感性如何？
• RQ4 在高维后验分布上，HMC-ECS与SGLD和SG-HMC相比，在采样效率和准确性方面表现如何？
• RQ5 HMC-ECS能否在远低于全数据HMC的计算成本下实现精确推断？

主要发现

• HMC-ECS即使在包含29和81个参数的数据集上，其采样效率和准确性也与全数据HMC相当，且显著更快。
• 扰动HMC-ECS变体在总变差距离下以O(n⁻¹m⁻²)速率收敛至真实后验，确保渐近一致性。
• 符号HMC-ECS通过重要性采样生成后验期望的模拟一致估计器，支持有效推断。
• HMC-ECS在使用一阶控制变量时仍有效，但使用零阶近似时因方差过大而失效。
• HMC-ECS在采样效率和准确性上均优于SGLD和SG-HMC，尤其在高维设置下表现更优。
• 该方法对控制变量质量的中等退化具有鲁棒性，但当使用粗糙近似（如零阶泰勒展开）时，性能会显著下降。