[论文解读] Accelerating Gradient Boosting Machine

Haihao Lu, Sai Praneeth Karimireddy+2 more|arXiv (Cornell University)|Mar 20, 2019

Stochastic Gradient Optimization Techniques参考文献 35被引用 5

一句话总结

本文提出加速梯度提升机（AGBM），这是首个在理论上得到验证的加速GBM，通过使用校正伪残差引入Nesterov动量，实现了O(1/m²)的收敛速率。AGBM在训练损失减少方面优于标准GBM，并能以更少的迭代次数实现更快收敛，尤其在结合早停策略时对大规模或复杂数据集更具优势。

ABSTRACT

Gradient Boosting Machine (GBM) is an extremely powerful supervised learning algorithm that is widely used in practice. GBM routinely features as a leading algorithm in machine learning competitions such as Kaggle and the KDDCup. In this work, we propose Accelerated Gradient Boosting Machine (AGBM) by incorporating Nesterov's acceleration techniques into the design of GBM. The difficulty in accelerating GBM lies in the fact that weak (inexact) learners are commonly used, and therefore the errors can accumulate in the momentum term. To overcome it, we design a "corrected pseudo residual" and fit best weak learner to this corrected pseudo residual, in order to perform the z-update. Thus, we are able to derive novel computational guarantees for AGBM. This is the first GBM type of algorithm with theoretically-justified accelerated convergence rate. Finally we demonstrate with a number of numerical experiments the effectiveness of AGBM over conventional GBM in obtaining a model with good training and/or testing data fidelity.

研究动机与目标

• 为解决标准梯度提升机（GBM）缺乏理论收敛保证的问题，特别是其收敛速率缓慢（O(1/m)）的问题。
• 开发一种GBM变体，利用凸优化中的加速技术实现可证明更快的收敛速度。
• 克服在GBM中使用弱学习器时动量项中误差累积的挑战。
• 设计一种方法，在保持理论严谨性的同时，兼容任意弱学习器（包括决策树和无脑学习器）。
• 通过实证验证，加速收敛是否能转化为更快的训练速度和相当或更优的测试性能。

提出的方法

• 引入校正伪残差作为弱学习器拟合的新目标，替代z更新步骤中的标准残差。
• 将凸优化中的Nesterov动量技术适配至GBM框架，实现加速收敛。
• 推导出一种新型更新规则，以防止在使用不精确学习器时误差在动量项中累积。
• 从函数梯度下降的视角将GBM建模为优化问题，从而可应用一阶加速方法。
• 采用两步更新机制：使用动量的预测更新，以及通过校正伪残差的校正步骤，以确保收敛。
• 通过允许在拟合步骤中使用任意弱学习器（如决策树）来保持与现有GBM库的兼容性。

实验结果

研究问题

• RQ1 尽管使用了不精确的弱学习器，Nesterov加速技术是否能成功适配至GBM框架？
• RQ2 所提出的AGBM在经验损失减少方面是否实现了可证明快于标准GBM的收敛速率？
• RQ3 校正伪残差如何缓解提升迭代过程中动量项中的误差累积？
• RQ4 尽管训练收敛更快，AGBM是否仍能实现与GBM相当或更优的泛化性能？
• RQ5 学习率和早停等超参数对AGBM过拟合行为有何影响？

主要发现

• AGBM在m轮迭代后实现了O(1/m²)的理论收敛速率，显著优于标准GBM的O(1/m)速率。
• 实证结果表明，AGBM在a1a数据集上，所有测试学习率（η = 1, 0.1, 0.01）下均比GBM更快减少训练损失。
• 尽管训练收敛更快，AGMB在小数据集（如Housing）上表现出更早的测试损失过拟合，这是由于损失衰减过快所致。
• 在使用早停策略时，AGBM达到的测试性能与GBM相当或更优，且通常需要更少的树以达到最优性能。
• 在更大或更复杂的数据集上，AGBM的快速收敛使得更小的集成模型也能实现良好泛化，表明其在可扩展应用中具有优势。
• 校正伪残差对维持收敛至关重要；消融研究显示，直接应用动量会导致发散。