[论文解读] Bayesian computational methods

Christian P. Robert|arXiv (Cornell University)|Feb 13, 2010

Bayesian Methods and Mixture Models参考文献 36被引用 5

一句话总结

本文全面概述了贝叶斯计算方法，重点介绍马尔可夫链蒙特卡洛（MCMC）、重要性采样和可逆跳跃MCMC等现代计算技术，这些技术使得在处理难以计算的积分和复杂模型时，仍能实现实际的贝叶斯推断。文章强调了计算技术的进步如何将贝叶斯统计从一种理论上吸引人但计算上不可行的框架，转变为统计建模和模型选择中广泛应用的工具。

ABSTRACT

In this chapter, we will first present the most standard computational challenges met in Bayesian Statistics, focussing primarily on mixture estimation and on model choice issues, and then relate these problems with computational solutions. Of course, this chapter is only a terse introduction to the problems and solutions related to Bayesian computations. For more complete references, see Robert and Casella (2004, 2009), or Marin and Robert (2007), among others. We also restrain from providing an introduction to Bayesian Statistics per se and for comprehensive coverage, address the reader to Robert (2007), (again) among others.

研究动机与目标

• 通过综述现代计算解决方案，解决贝叶斯推断历史上计算上的不可行性。
• 解释模拟方法的进步如何使贝叶斯方法能够应用于具有不可计算似然或高维参数空间的复杂模型。
• 提供支持关键贝叶斯任务（如点估计、假设检验和模型选择）的计算技术指南。
• 强调计算工具在将贝叶斯建模范围从共轭先验和简单模型扩展出去方面的作用。
• 支持研究人员理解并实现高效计算算法，以应用于现实世界中的贝叶斯推断。

提出的方法

• 利用马尔可夫链蒙特卡洛（MCMC）方法，在解析积分不可行时模拟后验分布。
• 使用适当的先验分布进行重要性采样，以估计后验下的期望值，尤其适用于高维或复杂模型。
• 采用可逆跳跃MCMC处理变维问题，例如在模型维度不同的情况下进行贝叶斯模型比较。
• 引入Rao–Blackwellised估计量，通过利用充分统计量来减少方差，从而提高蒙特卡洛效率。
• 使用混合提议分布和自适应方案，以增强MCMC算法的收敛性和混合性。
• 讨论使用辅助变量方法和补全方案来处理具有不可计算似然或约束的模型。

实验结果

研究问题

• RQ1 如何使具有不可计算似然或复杂约束的模型的贝叶斯推断在计算上变得可行？
• RQ2 哪些计算技术能够实现在高维或非共轭模型中高效的后验计算？
• RQ3 当模型具有不同维度时，如何有效进行模型比较和选择？
• RQ4 重要性采样和MCMC在近似后验期望和边际似然中起什么作用？
• RQ5 如何通过Rao–Blackwellisation等方差减少技术提高计算效率？

主要发现

• MCMC方法使得复杂模型的贝叶斯推断在计算上变得可行，将贝叶斯统计从理论框架转变为实用工具。
• 可逆跳跃MCMC实现了变维采样，使得在参数数量不同的模型之间进行贝叶斯模型比较成为可能。
• 使用适当先验的重要性采样可提供后验期望的一致估计，但性能取决于提议分布的质量。
• Rao–Blackwellisation通过利用充分统计量减少蒙特卡洛方差，以极低的计算成本提高估计精度。
• 自适应和基于混合的提议分布增强了MCMC的收敛性和混合性，尤其在高维或多重峰后验分布中表现更优。
• 使用共轭先验可在简单模型（如正态-正态情形）中实现后验的闭式计算，但此类解法在更复杂的先验（如多项t分布）下会失效。