[论文解读] Bayesian additive regression trees for probabilistic programming

Miriana Quiroga, Pablo Garay+3 more|arXiv (Cornell University)|Jun 8, 2022

Bayesian Modeling and Causal Inference被引用 7

一句话总结

本文介绍了 PyMC-BART，这是一种概率编程扩展，将贝叶斯加性回归树（BART）作为 PyMC 框架中的第一类原 atomic 原子组件进行集成。通过使 BART 能够与其他概率模型协同使用，并原生支持通过新型 PGBART 采样器进行 MCMC 推断，该方法使用户能够以最少的调优构建灵活、具备不确定性感知能力的模型，同时保持与 PyMC 生态系统在推断、诊断和模型比较方面的完全兼容性。

ABSTRACT

Bayesian additive regression trees (BART) is a non-parametric method to approximate functions. It is a black-box method based on the sum of many trees where priors are used to regularize inference, mainly by restricting trees' learning capacity so that no individual tree is able to explain the data, but rather the sum of trees. We discuss BART in the context of probabilistic programming languages (PPL), i.e., we present BART as a primitive that can be used as a component of a probabilistic model rather than as a standalone model. Specifically, we introduce the Python library PyMC-BART, which works by extending PyMC, a library for probabilistic programming. We showcase a few examples of models that can be built using PyMC-BART, discuss recommendations for the selection of hyperparameters, and finally, we close with limitations of our implementation and future directions for improvement.

研究动机与目标

• 弥合 BART 作为独立的非参数模型与其作为更广泛概率编程框架中模块化组件使用之间的差距。
• 实现 BART 在 PyMC 生态系统中任意概率模型内的无缝集成，将 BART 视为第一类随机变量。
• 提供一种可扩展、模块化的推断机制——PGBART，支持 BART 组件的高效 MCMC 采样，同时保持与其他 PyMC 采样器（如 NUTS）的兼容性。
• 通过内置在 PyMC-BART 流程中的专用工具，系统性地支持变量选择、后验解释和收敛性诊断等高级建模任务。
• 为 BART 在概率编程中的未来可扩展性奠定基础，推动从固定模型实现向可组合、可重用组件的演进。

提出的方法

• 核心方法在 PyMC 中引入了一种新型 BART 随机变量，使用户能够使用标准 PyMC 语法将 BART 作为更大概率模型的一部分进行定义。
• 实现了一种新型 PGBART（粒子吉布斯 BART）采样器，该采样器基于序贯蒙特卡洛（SMC）原理，对求和中的单个树进行重采样，每次迭代仅更新部分树。
• PGBART 采样器使用粒子树来探索可能的树结构空间，基于归一化的对数似然权重进行重采样，以优先选择高概率的树。
• 树的生长由深度相关的先验引导，参数为 α=0.95 和 β=2，分裂变量的选择使用动态自适应分类分布，并在调优过程中持续更新。
• 叶节点值被赋予以当前预测均值为中心的正态先验，方差按残差标准差缩放，并根据数据类型（如二项分布与连续型）进行调整。
• 通过动态计数机制估计变量重要性，记录分裂变量的使用频率，同时对分裂比例施加稀疏性诱导的狄利克雷先验，以增强可解释性。

实验结果

研究问题

• RQ1 如何将 BART 有效嵌入到类似 PyMC 的概率编程语言中，而非作为独立模型使用？
• RQ2 何种采样策略能够实现在模块化概率编程框架中 BART 的高效且可扩展的推断？
• RQ3 在可组合的基于 BART 的建模流程中，如何系统性地支持变量重要性和模型可解释性？
• RQ4 哪些超参数选择——尤其是树的数量——在实践中对模型性能和收敛性影响最大？
• RQ5 如何在将 BART 集成到 PyMC 时，保持与现有模型诊断、后验检查和模型比较工具的兼容性？”

主要发现

• PyMC-BART 允许用户使用标准 PyMC 语法将 BART 作为任意概率模型中的组件进行组合，无需修改现有工作流。
• PGBART 采样器通过每次迭代仅更新总树数的 10%（默认值）来实现高效的后验探索，降低了计算成本，同时保持收敛性。
• 通过动态计数机制估计变量重要性，该机制跟踪分裂变量的使用频率，稀疏性诱导先验显著提升了可解释性。
• 该方法与 ArviZ 和 PyMC 的诊断工具栈完全兼容，用户可无缝评估收敛性、比较模型并可视化后验分布，无需学习新工具。
• 通过后验预测区间实现了不确定性量化，与 BART 在非参数贝叶斯建模中的优势保持一致。
• 实证结果表明，PGBART 采样器在包括二项分布和连续型结果在内的多种数据类型上均实现了稳定的收敛性和准确的后验估计。