[论文解读] Accelerating Metropolis-Hastings algorithms: Delayed acceptance with prefetching

Marco Banterle, Clara Grazian+1 more|arXiv (Cornell University)|Jun 10, 2014

Markov Chains and Monte Carlo Methods参考文献 21被引用 12

一句话总结

本文提出了一种延迟接受的梅特罗波利斯-黑斯廷斯算法，将接受比率分解为一系列顺序组件，从而实现早期拒绝以减少计算时间。通过结合预取技术，该方法在大数据贝叶斯推断中实现了高达3倍的计算时间减少——尤其在似然函数可分解时效果显著，同时保持了可接受的混合特性和有效样本量。

ABSTRACT

MCMC algorithms such as Metropolis-Hastings algorithms are slowed down by the computation of complex target distributions as exemplified by huge datasets. We offer in this paper an approach to reduce the computational costs of such algorithms by a simple and universal divide-and-conquer strategy. The idea behind the generic acceleration is to divide the acceptance step into several parts, aiming at a major reduction in computing time that outranks the corresponding reduction in acceptance probability. The division decomposes the "prior x likelihood" term into a product such that some of its components are much cheaper to compute than others. Each of the components can be sequentially compared with a uniform variate, the first rejection signalling that the proposed value is considered no further, This approach can in turn be accelerated as part of a prefetching algorithm taking advantage of the parallel abilities of the computer at hand. We illustrate those accelerating features on a series of toy and realistic examples.

研究动机与目标

• 解决在评估复杂后验分布时梅特罗波利斯-黑斯廷斯算法计算成本过高的问题，特别是在大规模数据集下。
• 通过将接受比率分解为逐步增加计算成本的组件，减少计算完整接受比率所需的时间。
• 提出一种通用且模块化的方法，仅需极少代码修改，可适用于任何梅特罗波利斯-黑斯廷斯算法。
• 通过将延迟接受与预取技术结合，利用现代并行计算进一步加速计算过程。
• 在真实贝叶斯模型上评估该方法，包括逻辑回归和使用杰弗里斯先验的有限高斯混合模型，以展示实际性能提升。

提出的方法

• 将梅特罗波利斯-黑斯廷斯接受比率分解为d个正函数的乘积：π(θ)q(θ,η)/π(η)q(η,θ) = ∏_{k=1}^d ρ_k(η,θ)。
• 执行顺序接受检查：对每个k，将ρ_k(η,θ)与一个独立的U(0,1)随机变量比较；在首次失败时立即停止并拒绝。
• 该方法保持了正确的平稳分布，同时在任一组分测试失败时可实现早期终止。
• 利用预取技术在并行处理器上预先计算昂贵的组件，使计算与决策步骤重叠。
• 将该方法应用于小规模模型和真实世界示例，包括逻辑回归和具有非共轭先验的有限高斯混合模型。
• 通过细致平衡性证明确保理论有效性，表明修改后的算法保持目标分布π(θ)。

实验结果

研究问题

• RQ1 将接受比率分解为顺序组件是否能在不扭曲目标分布的前提下减少梅特罗波利斯-黑斯廷斯算法的计算时间？
• RQ2 与标准MCMC相比，延迟接受策略在有效样本量和接受率方面的表现如何？
• RQ3 在现代并行计算架构上，预取技术能在多大程度上进一步加速延迟接受算法？
• RQ4 在高维或大规模数据场景下，接受概率降低与计算时间减少之间的权衡如何？
• RQ5 当应用于具有杰弗里斯先验和标签切换问题的复杂模型（如有限高斯混合模型）时，该方法的有效性如何？

主要发现

• 在n=1000的混合模型中，延迟接受算法相比标准MCMC将计算时间减少了1.6倍，尽管接受率下降了10%。
• 当与预取技术结合时，计算时间相比标准MCMC减少了3倍，每秒有效样本量达到7.52，而标准预取方法仅为2.9。
• 延迟接受的平均有效样本量（ESS）约为标准MCMC的1.5倍，但速度提升远超此损失。
• 在混合模型估计中，延迟接受结合预取的平均运行时间为每10^5次模拟192.65秒，而标准MH算法为517.60秒。
• 该方法保持了良好的后验覆盖度，如在三组分高斯混合模型中，边际后验分布与真实参数值高度匹配。
• 混合模型中存在标签切换问题，但延迟接受结合预取的方法仍能产生可靠的推断结果，尽管存在此已知的可识别性挑战。