[论文解读] Bayesian quantile additive regression trees

Bereket P. Kindo, Hao Wang+2 more|arXiv (Cornell University)|Jul 10, 2016

Statistical Methods and Inference参考文献 4被引用 3

一句话总结

本文提出贝叶斯分位数加法回归树（BayesQArt），一种新颖的方法，通过使用具有混合表示的非对称拉普拉斯似然，实现分位数回归中高效的后验计算。该方法在模拟研究和真实世界数据中均表现出优异的预测性能，包括非线性关系和高维分类任务，在关键基准测试中优于线性分位数回归和随机森林模型。

ABSTRACT

Ensemble of regression trees have become popular statistical tools for the estimation of conditional mean given a set of predictors. However, quantile regression trees and their ensembles have not yet garnered much attention despite the increasing popularity of the linear quantile regression model. This work proposes a Bayesian quantile additive regression trees model that shows very good predictive performance illustrated using simulation studies and real data applications. Further extension to tackle binary classification problems is also considered.

研究动机与目标

• 为解决分位数回归中缺乏集成方法的问题，提出一种用于加法回归树的贝叶斯框架。
• 在误差分布偏斜或重尾的情况下，实现条件分位数的鲁棒估计。
• 将该方法扩展至具有非线性决策边界的二分类问题。
• 在 p >> n 的高维设置下提升预测准确性。
• 通过共轭先验和混合表示，提供一种计算高效的贝叶斯方法，结合 MCMC 算法。

提出的方法

• 采用非对称拉普拉斯分布（ALD）似然，通过潜变量将分位数回归与贝叶斯推断联系起来。
• 利用涉及指数分布和正态变量的 ALD 混合表示，实现高效的吉布斯抽样。
• 应用可逆跳跃 MCMC 算法，联合估计树结构与节点参数，包括分割规则和叶节点值。
• 引入 GROW 和 PRUNE 操作，高效探索树空间，降低计算成本。
• 通过为每个分位数特定的树集成建模类别归属概率，将模型适配于二分类任务。
• 使用分类误差率和 AUC 等预测性能指标评估模型准确性。

实验结果

研究问题

• RQ1 贝叶斯加法回归树模型能否在保持计算可行性的同时，有效估计条件分位数？
• RQ2 在非线性和高维数据中，该方法与线性分位数回归和随机森林相比，预测准确性如何？
• RQ3 与基于均值的方法相比，贝叶斯分位数加法回归树模型是否能更稳健地处理极端或偏斜的响应分布？
• RQ4 在 p >> n 的高维分类设置下，该模型是否仍能保持良好性能？
• RQ5 非对称拉普拉斯分布的混合表示是否能实现树结构分位数回归的高效 MCMC 抽样？

主要发现

• 在具有非线性边界的模拟研究中，BayesQArt 的测试误差率为 0.2185（标准误 = 0.0100），AUC 为 0.8297（标准误 = 0.0088），优于随机森林（误差 = 0.2600，AUC = 0.6363）。
• 在高维癌症分类任务中（p ≈ 10,000，n = 200），BayesQArt 的测试误差率为 0.1650（标准误 = 0.0170），AUC 为 0.8712（标准误 = 0.0165），优于随机森林（误差 = 0.1800，AUC = 0.8184）。
• 该方法在处理偏斜响应和极端观测值方面表现出稳健性，与分位数回归的理论优势一致。
• GROW 和 PRUNE 操作的使用降低了计算成本，同时保持了模型的灵活性和预测准确性。
• BayesQArt 在模拟研究中显著优于贝叶斯线性分位数回归（BayesQR.AL），后者误差率高达 0.5500，AUC 为 0.4684。
• 该模型在标准个人计算机上的平均计算时间为 5.42 分钟，表明尽管输入维度较高，仍具备实际可扩展性。