[论文解读] Bayesian Workflow

Andrew Gelman, Aki Vehtari+8 more|arXiv (Cornell University)|Nov 3, 2020

Bayesian Modeling and Causal Inference被引用 137

一句话总结

本文提出了一个全面的贝叶斯工作流——从模型构建与拟合到检查、比较和软件实践，并以高尔夫击球和行星运动示例加以说明。

ABSTRACT

The Bayesian approach to data analysis provides a powerful way to handle uncertainty in all observations, model parameters, and model structure using probability theory. Probabilistic programming languages make it easier to specify and fit Bayesian models, but this still leaves us with many options regarding constructing, evaluating, and using these models, along with many remaining challenges in computation. Using Bayesian inference to solve real-world problems requires not only statistical skills, subject matter knowledge, and programming, but also awareness of the decisions made in the process of data analysis. All of these aspects can be understood as part of a tangled workflow of applied Bayesian statistics. Beyond inference, the workflow also includes iterative model building, model checking, validation and troubleshooting of computational problems, model understanding, and model comparison. We review all these aspects of workflow in the context of several examples, keeping in mind that in practice we will be fitting many models for any given problem, even if only a subset of them will ultimately be relevant for our conclusions.

研究动机与目标

• 将贝叶斯工作流定义为模型构建、推断和模型检查/改进的整合。
• 倡导数据前设计、先验预测检查和生成建模，以理解和约束分析。
• 推动迭代的模型构建、调试，以及多模型的比较，以理解不确定性。
• 突出实际计算关注点、诊断和在概率编程（Stan）中工作的策略。
• 提供将贝叶斯分析系统化的指南和示例，应用于真实世界的问题。

提出的方法

• 描述使用模板和模块化组件进行灵活的初始模型构建。
• 强调对参数进行尺度变换和变换以便于解释和层次建模。
• 倡导先验预测检查，以在观测数据前评估先验含义。
• 讨论生成建模与非生成建模及其对预测检查的影响。
• 概述使用现代算法（主要是 Hamiltonian Monte Carlo）进行拟合以及诊断实践（如 Rhat、R*）。
• 通过 Golf putting 和 Planetary motion 的示例来说明迭代模型开发的工作流程。

实验结果

研究问题

• RQ1 除了推断本身，什么构成一个实用且系统的贝叶斯工作流？
• RQ2 如何将先验选择、模型扩展和计算诊断整合，以产生可信的推断？
• RQ3 在现实世界的问题中，构建、检查和比较多个贝叶斯模型的有效策略是什么？
• RQ4 在一个迭代工作流中，如何管理计算、模型扩展和数据纳入？

主要发现

• 贝叶斯工作流包含模型构建、推断、检查和迭代改进，而不仅仅是后验计算。
• 先验预测检查和生成建模有助于预测数据行为并指导先验和模型结构。
• 模块化的模型构建和参数尺度化有助于可解释性和分层建模。
• 用于推断的诊断（例如 warmup、混合、收敛）对于可靠结果和高效探索模型至关重要。
• 对多模型的比较与可视化是理解不确定性和结论鲁棒性的核心。
• 示例（Golf putting；Planetary motion）展示了模型如何随着新数据和计算挑战而演变，强调了迭代工作流。