[论文解读] Learning Nonlinear Functions Using Regularized Greedy Forest

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Sep 5, 2011

Neural Networks and Applications参考文献 20被引用 13

一句话总结

本文提出正则化贪婪森林（RGF），一种通过结构化决策森林使用完全校正正则化贪婪优化来直接学习非线性函数的方法。与梯度提升不同，RGF显式利用树结构和正则化，在多种数据集上使用通用损失函数时，实现了比GBDT更高的准确率和更小的模型。

ABSTRACT

We consider the problem of learning a forest of nonlinear decision rules with general loss functions. The standard methods employ boosted decision trees such as Adaboost for exponential loss and Friedman's gradient boosting for general loss. In contrast to these traditional boosting algorithms that treat a tree learner as a black box, the method we propose directly learns decision forests via fully-corrective regularized greedy search using the underlying forest structure. Our method achieves higher accuracy and smaller models than gradient boosting (and Adaboost with exponential loss) on many datasets.

研究动机与目标

• 开发一种决策森林的直接学习方法，利用树结构而非将树学习器视为黑箱。
• 通过将树结构正则化整合到优化过程中，将提升方法从基于包装器的范式中拓展出来。
• 在多样化学习任务中，实现比现有方法（如梯度提升）更好的泛化能力和模型效率。
• 支持通用损失函数，包括回归、二分类和成对偏好学习。
• 证明在结构化森林上进行完全校正优化，相比标准提升方法可获得更优性能。

提出的方法

• RGF将决策森林学习表述为对决策树加法模型的完全校正正则化贪婪优化。
• 引入树结构正则化惩罚项——特别是L2正则化和最小惩罚正则化——以控制模型复杂度并提升泛化能力。
• 该算法在扩展森林（添加新树）和使用坐标下降法对正则化损失进行完全校正以优化叶节点权重之间交替进行。
• 在训练过程中，利用预排序数据和稀疏矩阵表示，高效计算部分导数和正则化项。
• 该方法支持通用损失函数，包括最小二乘、逻辑损失和成对偏好损失，从而具备广泛适用性。
• RGF采用两阶段训练过程：先在正则化下增长森林，然后通过迭代权重优化提升泛化能力。

实验结果

研究问题

• RQ1 一种直接的、结构感知的决策森林学习方法是否能在准确率和模型效率上超越标准梯度提升？
• RQ2 在非线性函数学习中，引入树结构正则化是否能提升泛化能力？
• RQ3 在决策森林上采用完全校正优化策略是否能带来优于增量提升的性能？
• RQ4 在多样化数据集和损失函数上，RGF与GBDT和Adaboost相比表现如何？
• RQ5 在实际应用中，RGF的计算成本是否由其性能提升所合理化？

主要发现

• 在测试的全部53个数据集中，RGF的误差均低于GBDT，平均误差差异为0.0005，表明其性能具有持续优势。
• 在训练数据的4:1划分中，RGF在每个模型规模下均实现了比GBDT更高的准确率，意味着达到同等性能所需模型更小。
• 在Letter数据集上，RGF的参数选择耗时128秒，而GBDT为191秒，表明RGF在超参数调优方面可能更高效。
• 尽管单次训练时间更长，但RGF的更高准确率（比使用基学习器的Adaboost高出12%）使其计算成本具有合理性。
• 该方法在回归、二分类和成对偏好学习任务中均表现出一致的性能提升。
• 采用最小惩罚正则化将运行时间从O(ndℓz)降低至O(ndℓ) + O(ℓz²)，显著提升了效率。