[论文解读] bamlss : A Lego Toolbox for Flexible Bayesian Regression (and Beyond)

Nikolaus Umlauf, Nadja Klein+2 more|arXiv (Cornell University)|Sep 25, 2019

Statistical Methods and Bayesian Inference参考文献 68被引用 7

一句话总结

本文介绍了 bamlss，一个 R 包，提供了一种模块化、可扩展的灵活贝叶斯加法模型框架，通过‘乐高式’架构使用户能够组合各种分布、链接函数和回归样条。其主要贡献是一个统一、可扩展的工具箱，支持复杂、结构化的建模，并实现完整的贝叶斯推断，包括后验计算与模型检验。

ABSTRACT

Over the last decades, the challenges in applied regression and in predictive modeling have been changing considerably: (1) More flexible model specifications are needed as big(ger) data become available, facilitated by more powerful computing infrastructure. (2) Full probabilistic modeling rather than predicting just means or expectations is crucial in many applications. (3) Interest in Bayesian inference has been increasing both as an appealing framework for regularizing or penalizing model estimation as well as a natural alternative to classical frequentist inference. However, while there has been a lot of research in all three areas, also leading to associated software packages, a modular software implementation that allows to easily combine all three aspects has not yet been available. For filling this gap, the R package bamlss is introduced for Bayesian additive models for location, scale, and shape (and beyond). At the core of the package are algorithms for highly-efficient Bayesian estimation and inference that can be applied to generalized additive models (GAMs) or generalized additive models for location, scale, and shape (GAMLSS), also known as distributional regression. However, its building blocks are designed as "Lego bricks" encompassing various distributions (exponential family, Cox, joint models, ...), regression terms (linear, splines, random effects, tensor products, spatial fields, ...), and estimators (MCMC, backfitting, gradient boosting, lasso, ...). It is demonstrated how these can be easily recombined to make classical models more flexible or create new custom models for specific modeling challenges.

研究动机与目标

• 开发一种模块化、可扩展的贝叶斯回归框架，支持对复杂数据结构的灵活建模。
• 使用户能够在单一建模环境中组合不同的指数族分布、链接函数和光滑分量。
• 提供一种可扩展且可扩展的基础设施，用于贝叶斯加法模型，超越标准线性和广义线性模型。
• 支持高级建模功能，如结构化加法预测器、随机效应以及空间或时间序列分量。
• 通过与现有 R 贝叶斯工具集成，促进后验计算、模型检验与可视化。

提出的方法

• 该框架基于模块化架构，其中每个组件——分布、链接函数和光滑项——可独立选择并组合。
• 采用灵活的线性预测器参数化方式，支持具有多个分量（如样条、随机效应、空间项）的结构化加法预测器。
• 该包支持广泛的指数族分布，并通过使用 'distributions' 和 'family' 函数支持自定义分布。
• 后验推断通过 MCMC 抽样实现，借助 'MCMC' 和 'stan' 后端高效计算，包括通过 Stan 实现的哈密顿蒙特卡洛。
• 通过插件架构实现模型拟合，允许用户使用一致接口定义自定义组件。
• 通过标准化的后预测检查和残差分析，支持模型检验与诊断。

实验结果

研究问题

• RQ1 如何设计一种模块化、可扩展的框架，以支持在多种数据类型和结构下灵活的贝叶斯加法模型？
• RQ2 哪些架构原则能够实现在单一建模环境中不同分布、链接函数和光滑分量的无缝集成？
• RQ3 与单体式贝叶斯建模工具相比，乐高式组件架构在可用性和可扩展性方面有何改进？
• RQ4 该框架在支持复杂结构化加法预测器（包括空间、时间及随机效应）方面的能力如何？
• RQ5 在实际应用中，该框架的性能与可扩展性与现有贝叶斯回归工具相比如何？

主要发现

• bamlss 包成功实现了模块化、可扩展的框架，使用户能够以组合方式结合分布、链接函数和光滑分量。
• 该框架支持广泛的模型，包括位置、尺度和形态的广义加法模型（GAMLSS）以及结构化加法回归模型。
• 通过 MCMC 和哈密顿蒙特卡洛实现的后验推断效率高，在基准示例中表现出良好的收敛性和混合特性。
• 该包能够对复杂数据结构（如空间效应、随机效应和可变离散度）进行建模，结果一致且可复现。
• 模块化设计显著提高了代码复用性和可扩展性，使研究人员无需修改核心功能即可实现新组件。
• 该框架在真实世界数据集上表现出优异的性能与可扩展性，包括高维或非线性预测器的数据。