[论文解读] Sampling for Inference in Probabilistic Models with Fast Bayesian Quadrature

Tom Gunter, Michael A. Osborne+3 more|arXiv (Cornell University)|Nov 3, 2014

Gaussian Processes and Bayesian Inference参考文献 18被引用 40

一句话总结

本文提出了一种快速贝叶斯积分方法——扭曲序列主动贝叶斯积分（WSABI），该方法通过似然函数的平方根变换来强制保证非负性，并采用一种新颖的主动采样策略，以最小化变换后被积函数后验方差。在合成问题和真实世界问题上，WSABI 在计算时间上均比蒙特卡罗方法和退火重要性采样收敛更快，即使在似然函数评估成本较低的情况下，其性能也优于基准方法。

ABSTRACT

We propose a novel sampling framework for inference in probabilistic models: an active learning approach that converges more quickly (in wall-clock time) than Markov chain Monte Carlo (MCMC) benchmarks. The central challenge in probabilistic inference is numerical integration, to average over ensembles of models or unknown (hyper-)parameters (for example to compute the marginal likelihood or a partition function). MCMC has provided approaches to numerical integration that deliver state-of-the-art inference, but can suffer from sample inefficiency and poor convergence diagnostics. Bayesian quadrature techniques offer a model-based solution to such problems, but their uptake has been hindered by prohibitive computation costs. We introduce a warped model for probabilistic integrands (likelihoods) that are known to be non-negative, permitting a cheap active learning scheme to optimally select sample locations. Our algorithm is demonstrated to offer faster convergence (in seconds) relative to simple Monte Carlo and annealed importance sampling on both synthetic and real-world examples.

研究动机与目标

• 为解决马尔可夫链蒙特卡罗（MCMC）方法在概率模型数值积分中的效率低下和收敛诊断性能差的问题。
• 克服传统贝叶斯积分（BQ）计算成本高的问题，从而在似然函数评估成本较低时仍能广泛应用。
• 开发一种基于模型的推理框架，无需近似误差即可保持似然函数的非负性。
• 设计一种快速的主动采样策略，以最优方式选择评估点，从而最小化积分估计的不确定性。
• 即使在似然函数评估成本较低的设置下，仍实现比标准蒙特卡罗和退火重要性采样更快的计算时间收敛速度。

提出的方法

• 在被积函数上提出一种平方根高斯过程（GP）先验，以自然方式强制保证非负性，避免了以往对数变换BQ方法中使用的近似。
• 通过在似然函数的平方根上施加GP先验，构建扭曲似然模型，从而更好地处理高动态范围数据，并确保非负性。
• 提出一种快速主动采样策略，通过最大化变换后被积函数的后验方差期望来选择新的采样点，实现探索与利用之间的平衡。
• 采用一种序列化、主动学习策略，通过聚焦于高不确定性区域和高概率质量区域，降低积分估计的熵。
• 应用重要性重加权技巧，使方法可对任意先验密度进行积分，从而突破了仅限于标准正态先验的限制。
• 采用GP和积分的解析后验更新，实现高效的推理与不确定性量化。

实验结果

研究问题

• RQ1 即使在似然函数评估计算成本较低的情况下，基于模型的贝叶斯积分方法是否能在计算时间上比标准蒙特卡罗方法实现更快的收敛？
• RQ2 通过平方根变换强制保证似然模型中的非负性，是否相比对数变换或直接GP建模方法能提升数值稳定性和准确性？
• RQ3 基于扭曲被积函数后验方差最大化的快速主动采样策略，是否能优于贝叶斯积分中的随机采样或固定采样策略？
• RQ4 所提方法在参数空间维度增加时，性能如何扩展？
• RQ5 该方法对超参数设定不准确是否具有鲁棒性，并在真实、非合成的似然曲面上是否仍具有效性？

主要发现

• WSABI 在合成和真实世界基准测试中，均比简单蒙特卡罗和退火重要性采样在计算时间上收敛更快。
• 该方法在单位时间内的误差减少速度优于标准蒙特卡罗和AIS，即使在似然函数评估成本较低时，也表现出更优的样本效率。
• 在合成混合模型上，WSABI-m（中等探索）略优于WSABI-l（低探索），但WSABI-l整体更快，且在高维情况下更有效。
• 在高维问题中，WSABI-l 表现优于WSABI-m，表明对高概率区域的激进利用比广泛探索更有效。
• 采用平方根变换的扭曲GP模型成功避免了近似误差，实现了非负性强制，相比对数变换方法在稳定性和准确性上均有提升。
• 基于后验方差最大化构建的主动采样策略，有效平衡了探索与利用，显著加快了对积分不确定性的减少速度。