[论文解读] Gradient Boosted Binary Histogram Ensemble for Large-scale Regression

Hanyuan Hang, Tao Huang+3 more|arXiv (Cornell University)|Jun 3, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用 7

一句话总结

该论文提出了一种新型大规模回归算法——梯度提升二值直方图集成（GBBHE），通过随机旋转与二值直方图划分结合梯度提升与集成学习。通过利用旋转后的二值直方图作为基学习器，并对多个此类集成进行平均，GBBHE 实现了快速收敛速度与卓越的计算效率，在 Hölder 连续函数空间中具有理论保证，并在大规模数据集上表现出优于 GBRT、随机森林和核方法的实证性能。

ABSTRACT

In this paper, we propose a gradient boosting algorithm for large-scale regression problems called extit{Gradient Boosted Binary Histogram Ensemble} (GBBHE) based on binary histogram partition and ensemble learning. From the theoretical perspective, by assuming the Hölder continuity of the target function, we establish the statistical convergence rate of GBBHE in the space $C^{0,α}$ and $C^{1,0}$, where a lower bound of the convergence rate for the base learner demonstrates the advantage of boosting. Moreover, in the space $C^{1,0}$, we prove that the number of iterations to achieve the fast convergence rate can be reduced by using ensemble regressor as the base learner, which improves the computational efficiency. In the experiments, compared with other state-of-the-art algorithms such as gradient boosted regression tree (GBRT), Breiman's forest, and kernel-based methods, our GBBHE algorithm shows promising performance with less running time on large-scale datasets.

研究动机与目标

• 为解决现有提升算法在大规模、高维回归任务中的局限性，提升计算效率与统计鲁棒性。
• 通过二值直方图划分与随机旋转，克服传统直方图在高维空间中单元数量指数级增长的问题。
• 在 $C^{0,eta}$ 与 $C^{1,0}$ 空间中建立提升算法的理论收敛速率，证明使用集成基学习器可提升泛化能力并减少迭代次数。
• 设计一种可扩展的算法，在保持强实证性能的同时，相比最先进的方法（如 GBRT 与随机森林）显著降低训练时间。

提出的方法

• GBBHE 通过输入特征的随机旋转增强基学习器之间的多样性，降低相关性。
• 二值直方图划分将输入空间划分为等深的单元，确保平衡分割，避免对高维稀疏性的过拟合。
• 在每次提升迭代中，生成多个旋转后的二值直方图集成并取平均，形成鲁棒的基学习器，提升泛化能力。
• 该算法通过梯度下降迭代最小化经验风险，利用集成基学习器拟合残差。
• 方法引入正则化经验风险最小化，以控制过拟合，并在高维设置中确保稳定性。
• 理论分析建立了在 Hölder 空间中的收敛速率，当在 $C^{1,0}$ 空间中使用集成基学习器时，迭代效率得到提升。

实验结果

研究问题

• RQ1 基于旋转二值直方图集成的梯度提升框架是否能在大规模回归中实现更快收敛与更好泛化？
• RQ2 使用集成基学习器如何影响在 $C^{1,0}$ 空间中达到最优收敛所需的迭代次数？
• RQ3 GBBHE 在 Hölder 连续函数空间 $C^{0,eta}$ 与 $C^{1,0}$ 中的理论收敛速率是多少？
• RQ4 GBBHE 在大规模数据集上与 GBRT、随机森林及基于核的方法相比，在计算效率与预测精度方面表现如何？
• RQ5 随机旋转与二值直方图划分的结合是否能缓解高维回归中的维度灾难问题？

主要发现

• GBBHE 在 $C^{0,eta}$ 空间中实现理论收敛速率 $O(n^{rac{eta}{2eta + d}})$，在 $C^{1,0}$ 空间中为 $O(n^{-rac{1}{2}})$，使用集成基学习器时迭代效率更高。
• 在 $C^{1,0}$ 空间中，使用集成基学习器可显著减少达到快速收敛所需的迭代次数，提升计算效率。
• 实证结果表明，GBBHE 在大规模数据集上的准确率与运行时间方面均优于 GBRT、随机森林与基于核的方法。
• 多余风险的下界为 $c_0 n^{rac{eta}{2eta + d}} \vee c_1$，其中 $c_0$ 与 $c_1$ 为依赖于数据分布与噪声的常数。
• 由于随机旋转与直方图集成引入的多样性，GBBHE 保持了回归函数的全局平滑性。
• GBBHE 通过仅每次分割一个维度，避免了标准直方图的指数级单元增长，使其适用于高维数据。