[论文解读] Accelerated proximal boosting

Erwan Fouillen, Claire Boyer+1 more|arXiv (Cornell University)|Aug 2, 2018

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

本文提出加速近端提升（accelerated proximal boosting），一种新颖的提升框架，通过将近端方法与Nesterov加速相结合，以优化不可微的经验风险。通过利用近端更新和加速下降，该方法相比标准梯度提升实现了更快的收敛速度和更高的预测精度。

ABSTRACT

Gradient boosting is a prediction method that iteratively combines weak learners to produce a complex and accurate model. From an optimization point of view, the learning procedure of gradient boosting mimics a gradient descent on a functional variable. This paper proposes to build upon the proximal point algorithm when the empirical risk to minimize is not differentiable. In addition , the novel boosting approach, called accelerated proximal boosting, benefits from Nesterov's acceleration in the same way as gradient boosting [Biau et al., 2018]. Advantages of leveraging proximal methods for boosting are illustrated by numerical experiments on simulated and real-world data. In particular, we exhibit a favorable comparison over gradient boosting regarding convergence rate and prediction accuracy.

研究动机与目标

• 解决梯度提升在最小化不可微经验风险时的局限性。
• 将近端点算法扩展至提升框架，以提升优化稳定性。
• 将Nesterov加速融入提升框架，以提升收敛速度。
• 通过模拟数据和真实世界数据集，对方法性能进行实证评估。

提出的方法

• 该方法利用近端点算法，将梯度提升表述为不可微损失函数的功能优化问题。
• 在近端更新中应用Nesterov加速技术，实现在函数空间中的更快收敛。
• 通过最小化经验风险的正则化、近端近似，迭代更新弱学习器。
• 近端项确保即使损失函数非光滑，也能保证稳定性和收敛性。
• 更新规则结合了梯度下降步长与类似动量的加速，灵感源自Nesterov的最优一阶方法。
• 该方法在保持提升的加法结构的同时，通过引入近端和加速组件，改善了优化动力学。

实验结果

研究问题

• RQ1 近端方法是否能提升梯度提升在最小化不可微经验风险函数时的优化稳定性？
• RQ2 在提升框架中引入Nesterov加速是否能带来更快的收敛速率？
• RQ3 加速近端提升与标准梯度提升相比，在预测精度方面表现如何？
• RQ4 所提出的方法是否能在模拟数据和真实世界数据集上保持鲁棒性和高性能？

主要发现

• 由于集成了Nesterov加速，加速近端提升的收敛速度优于标准梯度提升。
• 与基线梯度提升相比，该方法在模拟数据和真实世界数据集上均表现出更高的预测精度。
• 使用近端更新增强了在最小化不可微经验风险函数时的稳定性。
• 数值实验证实，加速变体在收敛速度和最终模型精度方面均优于标准梯度提升。