[论文解读] Computing Bayes: Bayesian Computation from 1763 to the 21st Century

Gael M. Martin, David T. Frazier+1 more|arXiv (Cornell University)|Apr 14, 2020

Gaussian Processes and Bayesian Inference参考文献 268被引用 21

一句话总结

本文从托马斯·贝叶斯1763年的论文到21世纪现代方法，对贝叶斯计算进行了全面的历史与技术综述。它将所有计算技术——从拉普拉斯近似、马尔可夫链蒙特卡洛（MCMC）到变分推断和近似贝叶斯计算（ABC）——统一在后验期望估计的框架下，强调其演变过程、相互关联性，以及在可扩展性和模型误设方面当前面临的挑战。

ABSTRACT

The Bayesian statistical paradigm uses the language of probability to express uncertainty about the phenomena that generate observed data. Probability distributions thus characterize Bayesian analysis, with the rules of probability used to transform prior probability distributions for all unknowns - parameters, latent variables, models - into posterior distributions, subsequent to the observation of data. Conducting Bayesian analysis requires the evaluation of integrals in which these probability distributions appear. Bayesian computation is all about evaluating such integrals in the typical case where no analytical solution exists. This paper takes the reader on a chronological tour of Bayesian computation over the past two and a half centuries. Beginning with the one-dimensional integral first confronted by Bayes in 1763, through to recent problems in which the unknowns number in the millions, we place all computational problems into a common framework, and describe all computational methods using a common notation. The aim is to help new researchers in particular - and more generally those interested in adopting a Bayesian approach to empirical work - make sense of the plethora of computational techniques that are now on offer; understand when and why different methods are useful; and see the links that do exist, between them all.

研究动机与目标

• 提供从贝叶斯原始1763年问题到现代高维推断的编年史与概念性概述。
• 在后验期望评估的统一数学框架下，整合各种计算方法——确定性、基于模拟和近似技术——以实现统一。
• 帮助新研究者理解现代贝叶斯计算工具的优势、局限性及其适用场景。
• 突出可扩展性和模型误设方面的新兴挑战，并识别未来发展的关键研究方向。

提出的方法

• 将贝叶斯推断表述为后验期望的计算：E(g(θ)|y) = ∫Θ g(θ)p(θ|y)dθ，其中p(θ|y) ∝ p(y|θ)p(θ)仅在归一化常数未知的情况下可得。
• 将计算方法分为三类：确定性积分、基于模拟的方法（如MCMC、重要性抽样）以及近似技术（如拉普拉斯近似、变分推断、ABC）。
• 在不同方法间使用一致的符号表示，以强调其结构相似性并促进比较，尤其在经典方法与现代方法之间。
• 分析边缘似然p(y|M) = ∫Θ p(y|θ,M)p(θ|M)dθ在模型比较中的关键作用，其可通过先验下的后验期望计算得出。
• 回顾可扩展计算的最新进展，包括针对大规模数据集和高维模型的方法，并讨论模型误设带来的计算影响。
• 探讨标准似然推断之外的扩展，如使用损失函数的广义后验（例如基于自助法的后验、广义变分推断），以及基于矩统计流形的MCMC。

实验结果

研究问题

• RQ1 从1763年贝叶斯原始问题到现代高维问题，贝叶斯推断的计算方法如何演变？
• RQ2 多样化的贝叶斯计算技术背后有何统一原理？如何系统性地进行比较？
• RQ3 在现代数据规模和维度下，贝叶斯方法的可扩展性面临哪些计算挑战，又有哪些解决方案？
• RQ4 模型误设和非似然函数推断如何影响贝叶斯计算算法的设计与性能？
• RQ5 在贝叶斯更新中使用损失函数而非似然函数有何影响？这些变化如何影响计算效率与有效性？

主要发现

• 贝叶斯计算的核心挑战仍是难以处理的积分计算，尤其是后验期望，该量在推断、预测、决策理论和模型选择中居于核心地位。
• 尽管在简单情形（如共轭先验）下存在解析解，但大多数现实问题因归一化常数不可解析计算而需依赖数值近似。
• 现代计算方法如MCMC、变分推断和ABC均旨在近似同一基本量：E(g(θ)|y)，其在精度、速度和可扩展性之间存在不同权衡。
• 可扩展性现已成为主要研究焦点，Bayes Comp 2020会议上129篇会议摘要中有16篇明确讨论可扩展性，更多研究聚焦于大规模数据集或高维模型。
• 模型误设显著影响计算方法：在误设下，ABC可能无法生成有效的可信集，而VB即使在模型错误时仍可能集中于KL散度最小化的参数。
• 新的计算范式——如广义变分推断和基于矩统计流形的MCMC——正在出现，以应对非似然函数推断，标志着为实现稳健贝叶斯分析而进行的计算设计的根本性转变。