[论文解读] Functional Gradient Boosting based on Residual Network Perception

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|Feb 25, 2018

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

本文提出了一种名为ResFGB的新颖函数梯度提升方法，其灵感源自残差网络（ResNet）的感知机制，通过在特征图上进行梯度下降，迭代改进功能空间中的特征提取。该方法在基准数据集上实现了最先进性能，在分类任务中优于LightGBM及其他基线模型，同时通过边缘和风险边界提供了理论泛化保证。

ABSTRACT

Residual Networks (ResNets) have become state-of-the-art models in deep learning and several theoretical studies have been devoted to understanding why ResNet works so well. One attractive viewpoint on ResNet is that it is optimizing the risk in a functional space by combining an ensemble of effective features. In this paper, we adopt this viewpoint to construct a new gradient boosting method, which is known to be very powerful in data analysis. To do so, we formalize the gradient boosting perspective of ResNet mathematically using the notion of functional gradients and propose a new method called ResFGB for classification tasks by leveraging ResNet perception. Two types of generalization guarantees are provided from the optimization perspective: one is the margin bound and the other is the expected risk bound by the sample-splitting technique. Experimental results show superior performance of the proposed method over state-of-the-art methods such as LightGBM.

研究动机与目标

• 通过在特征提取函数空间中使用函数梯度，形式化ResNet的梯度提升视角。
• 开发一种新型提升方法ResFGB，利用类似ResNet的架构实现迭代特征学习。
• 通过边缘和期望风险边界，建立理论泛化保证。
• 通过实证证明，ResFGB在标准基准数据集上优于最先进的方法（如LightGBM）。

提出的方法

• 该方法将梯度提升形式化为在特征提取器函数空间中的优化问题，利用函数梯度迭代优化表示。
• 通过堆叠最小化函数梯度范数的层，构建深层架构，以促进高效优化。
• 采用多层感知机作为特征提取器，并使用Nesterov动量进行训练。
• 评估了两种损失函数：多分类对数损失和光滑合页损失，通过验证集调优超参数。
• 利用边缘理论和样本分割技术推导泛化边界，以确保理论稳健性。
• 该方法应用于标准数据集（包括MNIST、USPS和CovType）的二分类和多分类任务。

实验结果

研究问题

• RQ1 能否数学形式化ResNet的函数梯度视角，以指导新型提升框架的构建？
• RQ2 通过函数梯度最小化实现的迭代特征提取，是否能带来更好的泛化性能和更快的收敛速度？
• RQ3 所提出的ResFGB方法在实证上与最先进的梯度提升模型（如LightGBM）相比表现如何？
• RQ4 能否通过边缘和样本分割技术，为泛化性能提供理论保证？
• RQ5 该方法能否扩展以支持卷积网络，用于视觉任务？

主要发现

• ResFGB在letter、USPS、ijcnn1、MNIST和SUSY数据集上实现了最高的分类准确率，优于LightGBM及其他基线模型。
• 在CovType数据集上，ResFGB的性能与LightGBM相当，为所有测试方法中的最佳表现。
• 学习曲线显示，该方法收敛更快且测试准确率更高，表明优化效率优异。
• 理论分析证实，最小化函数梯度范数可导致更小的分类误差，支持该优化策略的有效性。
• 通过样本分割推导出的边缘边界和期望风险边界，为该方法的泛化性能提供了强有力的理论依据。
• 实证结果表明，ResFGB在所有基准数据集上均持续优于标准梯度提升、多层感知机和支持向量机。