[论文解读] Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity

Justin Bleich, Adam Kapelner|arXiv (Cornell University)|Feb 21, 2014

Bayesian Methods and Mixture Models参考文献 11被引用 9

一句话总结

本文提出HBART，一种贝叶斯加性回归树模型，通过将误差方差的对数建模为预设协变量的线性函数，将BART扩展以处理异方差性。该方法采用吉布斯采样结合梅特罗波利斯-黑斯廷斯更新方差参数，相较于同方差BART，在异方差设定下能获得更准确的后验预测区间并减少过拟合。

ABSTRACT

We incorporate heteroskedasticity into Bayesian Additive Regression Trees (BART) by modeling the log of the error variance parameter as a linear function of prespecified covariates. Under this scheme, the Gibbs sampling procedure for the original sum-of- trees model is easily modified, and the parameters for the variance model are updated via a Metropolis-Hastings step. We demonstrate the promise of our approach by providing more appropriate posterior predictive intervals than homoskedastic BART in heteroskedastic settings and demonstrating the model's resistance to overfitting. Our implementation will be offered in an upcoming release of the R package bartMachine.

研究动机与目标

• 解决BART在回归建模中假设误差同方差的局限性。
• 开发一种灵活的贝叶斯框架，通过协变量的参数化函数建模异方差性。
• 在高方差区域提升后验预测区间准确性并减少过拟合。
• 在扩展至异方差场景的同时，保持在同方差数据上的强预测性能。
• 在方差模型中实现超参数的交叉验证，支持模型选择。

提出的方法

• 将误差方差的对数建模为预设协变量的线性函数，实现对异方差性的参数化建模。
• 修改原始BART吉布斯采样器，引入通过梅特罗波利斯-黑斯廷斯步骤更新的方差参数。
• 采用分块吉布斯采样方案，分阶段更新均值和方差参数。
• 利用Gamerman（1997）提出的迭代加权最小二乘法，为方差参数生成高效的提议分布。
• 通过时间及时间²等协变量构建方差设计矩阵Z，以捕捉非线性方差模式。
• 在R包bartMachine中实现该模型，代码可在GitHub的hBART分支中获取。

实验结果

研究问题

• RQ1 贝叶斯加性回归树模型能否通过参数化方差函数有效捕捉异方差误差结构？
• RQ2 在异方差性条件下，HBART与同方差BART在预测区间准确性方面表现如何比较？
• RQ3 与标准BART相比，HBART在高误差方差区域是否减少了过拟合？
• RQ4 扩展后的模型是否能在同方差数据上保持预测性能而不下降？
• RQ5 通过交叉验证进行超参数调优在多大程度上能提升HBART在方差结构选择上的表现？

主要发现

• 在异方差设定下，HBART生成的后验预测区间比同方差BART更合适，尤其能准确捕捉预测空间中变化的不确定性。
• 在摩托车碰撞数据中，HBART在高时间值处的预测区间更窄，在中间区域更宽，与真实方差模式高度吻合。
• BART的全局方差假设导致在低时间点和高时间点区间过宽，中间区域过窄，而HBART纠正了这一误设。
• HBART在高方差区域表现出对过拟合的抵抗能力，而BART由于固定方差假设在此类区域容易过拟合。
• 在同方差数据上，HBART的后验均值估计、预测区间和样本外RMSE与BART几乎完全相同，表明性能无损失。
• 复制代码已公开，使用hbart_paper文件夹中的R脚本可复现结果、表格和图表。