[论文解读] Boulevard: Regularized Stochastic Gradient Boosted Trees and Their Limiting Distribution

Yichen Zhou, Giles Hooker|arXiv (Cornell University)|Jun 26, 2018

Statistical Methods and Inference参考文献 36被引用 8

一句话总结

本文提出Boulevard，一种用于回归的正则化随机梯度提升框架，通过结合子采样、收缩和集成平均，确保收敛性和渐近正态性。其主要贡献是为Boulevard预测结果建立了中心极限定理，从而可通过可重复的预测区间实现有效的不确定性量化。

ABSTRACT

This paper examines a novel gradient boosting framework for regression. We regularize gradient boosted trees by introducing subsampling and employ a modified shrinkage algorithm so that at every boosting stage the estimate is given by an average of trees. The resulting algorithm, titled Boulevard, is shown to converge as the number of trees grows. We also demonstrate a central limit theorem for this limit, allowing a characterization of uncertainty for predictions. A simulation study and real world examples provide support for both the predictive accuracy of the model and its limiting behavior.

研究动机与目标

• 开发一种理论基础坚实的梯度提升框架，实现超越预测准确性的统计推断。
• 解决梯度提升树缺乏极限分布理论的问题，该问题阻碍了不确定性量化。
• 通过克服序列依赖性和树相关性，将随机森林的推断框架扩展至梯度提升。
• 建立梯度提升收敛且预测结果渐近正态的条件。
• 提供一种实用方法，利用Boulevard估计量的极限分布构造预测区间。

提出的方法

• Boulevard在每次提升迭代中采用子采样，以降低相关性并提高稳定性。
• 采用改进的收缩更新规则，对迭代中的树进行平均：$\hat{f}_{b+1} = \frac{\lambda}{b} \sum_{i=1}^{b} t_i$，确保集成平均。
• 保持学习率$\lambda$相对较高（接近1），以在保证收敛的同时实现渐近正态性。
• 最终预测通过$\frac{1+\lambda}{\lambda}$进行缩放，以校正平均效应。
• 利用U-统计量类似的结构和投影方法推导极限分布，利用平均机制。
• 通过集合中的经验数据估计随机方差，并使用协方差矩阵的保守近似构造再现区间。

实验结果

研究问题

• RQ1 在存在序列树依赖的情况下，正则化梯度提升框架能否实现收敛和渐近正态性？
• RQ2 对树构建和子采样的何种条件足以确保Boulevard预测的极限分布？
• RQ3 能否为梯度提升树可靠地构建基于预测区间的不确定性量化？
• RQ4 Boulevard中的平均结构与随机森林中的平均结构在统计特性上相比如何？
• RQ5 子采样和收缩对Boulevard预测的方差和偏差有何影响？

主要发现

• 在数据和树构建的弱正则性条件下，Boulevard预测随着树数量的增加以概率1收敛。
• Boulevard预测的极限分布是渐近正态的，从而支持有效的统计推断。
• 模拟研究证实，在各种误差分布（正态分布、均匀分布、Rademacher分布）下，测试点处的预测分布与正态分布无法区分。
• 使用定理4.2构造的再现区间具有良好的覆盖率，区间中心在超立方体边界附近显示出一致的偏差，这是边缘效应所致。
• 该方法在预测性能上与核岭回归相当，多个测试点的MSE相似。
• 在所提出的条件下，随机方差项以概率收敛，支持不确定性量化理论基础的可靠性。