[论文解读] A Parsimonious Tour of Bayesian Model Uncertainty

Pierre‐Alexandre Mattei|arXiv (Cornell University)|Feb 14, 2019

Gaussian Processes and Bayesian Inference参考文献 147被引用 7

一句话总结

本文提出了一种统一的、现代的贝叶斯模型不确定性综述，强调有限样本外样本性能以及与惩罚似然方法的联系。文章回顾了高维、奇异及似然不可用模型的计算进展，倡导在复杂数据环境中采用系统且实用的模型选择与平均方法。

ABSTRACT

Modern statistical software and machine learning libraries are enabling semi-automated statistical inference. Within this context, it appears easier and easier to try and fit many models to the data at hand, reversing thereby the Fisherian way of conducting science by collecting data after the scientific hypothesis (and hence the model) has been determined. The renewed goal of the statistician becomes to help the practitioner choose within such large and heterogeneous families of models, a task known as model selection. The Bayesian paradigm offers a systematized way of assessing this problem. This approach, launched by Harold Jeffreys in his 1935 book Theory of Probability, has witnessed a remarkable evolution in the last decades, that has brought about several new theoretical and methodological advances. Some of these recent developments are the focus of this survey, which tries to present a unifying perspective on work carried out by different communities. In particular, we focus on non-asymptotic out-of-sample performance of Bayesian model selection and averaging techniques, and draw connections with penalized maximum likelihood. We also describe recent extensions to wider classes of probabilistic frameworks including high-dimensional, unidentifiable, or likelihood-free models.

研究动机与目标

• 为不同统计学领域和现代数据挑战中的贝叶斯模型不确定性提供统一的视角。
• 应对在假设形成之前即已收集数据的场景中，系统化进行模型比较与选择的日益增长的需求。
• 弥合贝叶斯模型选择的理论进展与复杂模型的实际计算方法之间的鸿沟。
• 强调贝叶斯模型平均与惩罚似然方法之间的联系，特别是在小样本情形下。
• 讨论高维、不可识别及似然不可用模型的最新扩展，提升其在现代机器学习与统计学中的适用性。

提出的方法

• 使用贝叶斯定理，通过联合先验设定，一致地处理模型及其参数的不确定性。
• 应用边缘似然计算与模型平均，以评估外样本预测性能。
• 采用马尔可夫链蒙特卡洛（MCMC）和变分推断方法，对复杂模型的后验分布进行近似。
• 引入连续松弛方法（例如，ARD 类似方法），以实现在高维设置下的可扩展贝叶斯模型选择。
• 利用证据下界（ELBO）作为边缘似然的非渐近近似，实现计算高效的模型比较。
• 回顾渐近近似方法（如拉普拉斯近似）及其局限性，倾向于使用基于 ELBO 的上下界证据边界以进行精度评估。

实验结果

研究问题

• RQ1 如何系统性地将贝叶斯模型不确定性应用于现代数据科学中大规模异质模型族的比较与选择？
• RQ2 与频率学派的惩罚似然方法相比，贝叶斯模型平均与选择在小样本情形下的理论与实际优势是什么？
• RQ3 MCMC、变分推断和基于 ELBO 的近似等计算方法如何适应高维、奇异或似然不可用的模型？
• RQ4 连续松弛方法（如 ARD）在何种程度上提升了可扩展性，同时在子族内保持了精确的贝叶斯模型选择？
• RQ5 如何将贝叶斯模型不确定性与模型批评相结合，以避免对模型设定错误的过度自信？

主要发现

• 贝叶斯模型不确定性为模型比较与选择提供了一个系统性的框架，尤其适用于在假设形成前即已收集数据的情形。
• ELBO 为边缘似然提供了可靠且非渐近的近似，在小样本情形下优于拉普拉斯类近似。
• 诸如 ARD 及子族优化中的连续松弛方法，可实现在缩减的、相关模型子集上的精确推断，同时实现可扩展的贝叶斯模型选择。
• 贝叶斯模型平均与惩罚似然方法之间的联系已形式化，表明贝叶斯方法在小样本下可实现相似或更优的性能。
• 近期进展已将贝叶斯模型不确定性扩展至高维、不可识别及似然不可用的模型，显著拓宽了其在现代统计学习中的适用性。
• 尽管该框架具有诸多优势，但仍面临基础与技术层面的批评，凸显出必须将模型不确定性与模型批评相结合，以实现稳健推断。