[论文解读] Des specificites de l'approche bayesienne et de ses justifications en statistique inferentielle

Christian P. Robert|arXiv (Cornell University)|Mar 18, 2014

Philosophy and History of Science被引用 4

一句话总结

本文全面回顾了贝叶斯推断的理论基础，强调其哲学根基、从贝叶斯和拉普拉斯到现代应用的历史发展，以及实际实施方法。它将贝叶斯统计定位为一种连贯统一的统计推断方法，将未知参数视为具有先验分布的随机变量，通过后验计算实现自动推断，尽管也承认主观先验和计算需求带来的争议。

ABSTRACT

This book chapter (written in French) is a review of the foundations of the Bayesian approach to statistical inference, relating to its historical roots and some philosophical arguments, as well as a short presentation of its practical implementation.

研究动机与目标

• 澄清贝叶斯统计推断与经典统计推断在哲学和方法论上的区别。
• 追溯从托马斯·贝叶斯和拉普拉斯到当代应用的贝叶斯推理历史演变。
• 通过主观概率和条件更新，证明贝叶斯方法作为统计推断连贯框架的合理性。
• 通过简单示例展示贝叶斯方法的实际应用，以说明其实施过程。
• 回应对贝叶斯方法的常见批评，特别是关于先验选择主观性及计算复杂性的争议。

提出的方法

• 将贝叶斯推断形式化为使用贝叶斯定理更新信念的过程：$P(\theta|y) = \frac{P(y|\theta)P(\theta)}{P(y)}$，其中$\theta$代表未知参数。
• 将未知量（参数或函数）建模为具有先验分布的随机变量，反映在观察数据前的主观或客观信念。
• 将后验分布作为核心推断工具，通过似然函数将先验知识与观测数据结合。
• 使用损失函数评估和优化贝叶斯框架内的决策规则，一旦后验分布确定，即可实现自动推断。
• 应用马尔可夫链蒙特卡洛（MCMC）及其他计算技术进行后验计算，尤其适用于复杂或高维模型。
• 通过简单示例说明先验到后验更新的机制，涵盖参数和非参数设定。

实验结果

研究问题

• RQ1 贝叶斯推断与经典统计方法在哲学和历史基础上有何根本区别？
• RQ2 贝叶斯方法如何在参数和非参数模型之间统一统计推断？
• RQ3 将未知参数视为具有先验分布的随机变量会产生何种影响？
• RQ4 为何先验分布的选择既被视为贝叶斯统计的优势，又成为争议的根源？
• RQ5 尽管存在计算挑战和对完整模型设定的需求，贝叶斯方法如何实现实际应用？

主要发现

• 贝叶斯推断通过将所有未知量视为具有概率分布的随机变量，为统计推理提供了连贯统一的框架。
• 该方法以贝叶斯定理为基础，能够通过观测数据将先验分布正式更新为后验分布。
• 一旦指定先验和似然函数，该方法在本质上是自动的，因为所有推断均来自后验分布。
• 尽管理论优雅，贝叶斯方法仍因先验设定中的主观性而受到批评，一些人认为这是方法论上的弱点。
• 计算需求，尤其是在高维或复杂模型中，仍是实际挑战，尽管MCMC和变分方法的进步在一定程度上缓解了这一问题。
• 从贝叶斯和拉普拉斯到现代贝叶斯统计的历史脉络，凸显了逆概率作为统计推断基础的持久相关性。