[论文解读] Bayesian Regression Tree Ensembles that Adapt to Smoothness and Sparsity

Antonio R. Linero, Yun Yang|arXiv (Cornell University)|Jul 29, 2017

Statistical Methods and Inference参考文献 5被引用 9

一句话总结

本文提出软贝叶斯加性回归树（SBART），一种新颖的贝叶斯树集成方法，可自适应地处理高维回归中未知的光滑性与稀疏性。通过使用具有稀疏性诱导先验的软决策树，SBART 在预测变量数量几乎以指数方式随样本量增长的情况下，对稀疏、光滑及可加函数实现了近乎极小极大后验收缩速率，且仅需对现有 BART 算法进行极少修改。

ABSTRACT

Ensembles of decision trees are a useful tool for obtaining for obtaining flexible estimates of regression functions. Examples of these methods include gradient boosted decision trees, random forests, and Bayesian CART. Two potential shortcomings of tree ensembles are their lack of smoothness and vulnerability to the curse of dimensionality. We show that these issues can be overcome by instead considering sparsity inducing soft decision trees in which the decisions are treated as probabilistic. We implement this in the context of the Bayesian additive regression trees framework, and illustrate its promising performance through testing on benchmark datasets. We provide strong theoretical support for our methodology by showing that the posterior distribution concentrates at the minimax rate (up-to a logarithmic factor) for sparse functions and functions with additive structures in the high-dimensional regime where the dimensionality of the covariate space is allowed to grow near exponentially in the sample size. Our method also adapts to the unknown smoothness and sparsity levels, and can be implemented by making minimal modifications to existing BART algorithms.

研究动机与目标

• 解决传统贝叶斯树集成方法在适应未知光滑性方面存在的局限性，并缓解高维情况下的维数灾难问题。
• 开发一种在高维设定下对稀疏与光滑回归函数实现最优后验收缩速率的方法。
• 为后验集中提供理论保证，使其在对数因子范围内与极小极大速率一致。
• 通过仅对现有 BART 算法进行最小修改，实现实际可实施性。
• 在无需事先知晓这些特征的情况下，实现对未知光滑性、稀疏性及低阶交互结构的自适应。

提出的方法

• 引入软决策树，其中分裂为概率性而非确定性，从而实现更平滑的函数估计。
• 在分裂规则概率上使用稀疏性诱导的狄利克雷先验，以偏好仅使用少量活跃预测变量的模型。
• 在 BART 框架内采用树的和的可加结构，从而实现灵活的非参数函数估计。
• 应用一个关键引理，将树的和估计器与核类型估计器联系起来，从而实现对后验集中性的理论分析。
• 通过仅对标准 BART Gibbs 采样和后向调整算法进行微小修改来实现该方法。
• 利用狄利克雷先验的条件共轭性，以在 MCMC 采样过程中保持计算可行性。

实验结果

研究问题

• RQ1 贝叶斯树集成能否自适应地处理真实回归函数中未知的光滑性水平？
• RQ2 在软决策树中使用稀疏性诱导先验，能否缓解高维回归中的维数灾难？
• RQ3 在高维渐近条件下，贝叶斯树集成的后验分布能否以近乎极小极大的速率收缩？
• RQ4 该方法是否能在不事先知晓结构的情况下，自适应地处理可加结构或低阶交互结构？
• RQ5 所提出的方法能否在仅对现有 BART 算法进行最小修改的同时，保持理论最优性？

主要发现

• 对于具有 $ d \ll p $ 个活跃预测变量的函数，SBART 实现了后验收缩速率 $ n^{-\frac{\bar{\nu}}{2\bar{\nu}+d}} + \sqrt{n^{-1}d\log p} $，即使当 $ p $ 几乎以指数方式随 $ n $ 增长，该速率仍为近乎极小极大最优。
• 对于 $ \alpha $-赫尔德光滑函数，后验收缩速率达到极小极大速率 $ n^{-\frac{\alpha}{2\alpha + p}} $，仅相差对数因子。
• 当真实函数具有可加结构，且包含 $ V $ 个分量，每个分量依赖于 $ d_v $ 个预测变量并具有 $ \alpha_v $-光滑性时，SBART 实现了 $ \sum_{v=1}^V \varepsilon_{n,v} $ 的速率，其中 $ \varepsilon_{n,v} = n^{-\frac{\alpha_v}{2\alpha_v + d_v}}(\log n)^{t_v} + \sqrt{n^{-1}d_v\log p} $，该速率近乎极小极大。
• 该方法在无需事先知晓这些特征的情况下，自适应地处理了未知光滑性、稀疏性及交互阶数。
• 先验集中概率的下界为 $ \exp\{-C n \varepsilon_n^2\} $，支持在所述速率下的后验一致性。
• 理论结果得到了一个新引理的支持，该引理将树的和估计器与核类型估计器联系起来，从而实现极小极大速率分析。