[论文解读] Annealed Important Sampling for Models with Latent Variables
本文提出AISEL（带估计似然的退火重要性采样），通过结合退火重要性采样与无偏似然估计，实现具有不可计算似然的模型中的贝叶斯推断。主要贡献在于理论保证AISEL在后验期望估计中保持有效性，且效率损失由依赖于似然估计方差与退火调度的指数衰减因子量化，从而可实现计算资源的最优配置。
This paper is concerned with Bayesian inference when the likelihood is analytically intractable but can be unbiasedly estimated. We propose an annealed importance sampling procedure for estimating expectations with respect to the posterior. The proposed algorithm is useful in cases where finding a good proposal density is challenging, and when estimates of the marginal likelihood are required. The effect of likelihood estimation is investigated, and the results provide guidelines on how to set up the precision of the likelihood estimation in order to optimally implement the procedure. The methodological results are empirically demonstrated in several simulated and real data examples.
研究动机与目标
- 解决因高维潜变量导致不可计算似然时，贝叶斯推断的挑战。
- 开发一种在似然被估计而非精确已知时仍保持准确与高效的推断方法。
- 为使用估计似然的退火重要性采样提供理论依据，确保后验期望的有效性。
- 量化因似然估计导致的效率损失，并提供最小化计算成本的实用指导。
- 在不可计算似然存在的情况下，实现边际似然的可靠估计，这是贝叶斯统计中的关键需求。
提出的方法
- AISEL将退火重要性采样（AIS）扩展至可使用无偏似然估计而非真实似然的场景。
- 该算法通过温度参数 $ a_t $ 的调度序列，将退火后验分布从先验逐步过渡至完整后验。
- 重要性权重通过每个退火步骤中未归一化目标密度的比值计算，其中引入了估计的似然。
- 该方法采用对模型参数 $ \theta $ 与辅助变量 $ z $ 的联合采样方案，其中 $ z $ 表示对数似然估计。
- 理论分析表明，在无偏似然估计假设下，估计量保持无偏，从而保证后验期望的有效性。
- 关键组成部分是有效样本量（ESS）减少因子的推导，其依赖于对数似然估计的方差与退火调度。
实验结果
研究问题
- RQ1如何将退火重要性采样适配于具有潜变量模型中使用无偏似然估计的场景？
- RQ2使用估计似然对AISEL中后验期望估计效率的理论影响是什么？
- RQ3对数似然估计的方差如何影响AISEL的有效样本量与总体计算成本？
- RQ4AISEL是否可在不可计算似然存在时可靠估计边际似然以用于模型比较？
- RQ5为实现给定精度目标，似然估计中应使用多少个粒子以最小化计算成本？
主要发现
- 与标准AIS相比，AISEL的效率受 $ \exp(-\tau\sigma^2) $ 限制，其中 $ \tau $ 依赖于退火调度，$ \sigma^2 $ 为对数似然估计的方差，仅当似然估计精确时该值等于1。
- 与标准AIS相比，AISEL的有效样本量（ESS）减少因子为 $ \exp(-\tau\sigma^2) $，量化了因似然估计导致的效率损失。
- 效率损失随对数似然估计方差与退火调度项 $ \tau $ 的乘积呈指数增长，当退火调度缓慢时 $ \tau $ 最小化。
- 当对数似然估计具有高变异性时，AISEL比IS²与粒子MCMC更具鲁棒性，适用于计算昂贵的似然评估。
- 本文基于似然估计误差与采样效率之间的权衡，提供了选择似然估计中粒子数以最小化计算成本并实现目标精度的实用指导。
- 该方法即使在似然不可计算时，也能实现对边际似然的准确高效估计，这对贝叶斯模型比较至关重要。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。