[论文解读] Generalized XGBoost Method

Guang Yang|arXiv (Cornell University)|Sep 15, 2021

Statistical Methods and Inference参考文献 2被引用 7

一句话总结

本文提出了一种广义XGBoost方法，通过放松损失函数的凸性约束，将传统XGBoost扩展至支持凸损失函数和非凸损失函数。该方法进一步将框架推广至多变量损失函数，通过多目标、正则化的树提升方法，实现对参数分布中多个参数的联合建模，并在非寿险定价中展示了其应用价值。

ABSTRACT

The XGBoost method has many advantages and is especially suitable for statistical analysis of big data, but its loss function is limited to convex functions. In many specific applications, a nonconvex loss function would be preferable. In this paper, I propose a generalized XGBoost method, which requires weaker loss function constraint and involves more general loss functions, including convex loss functions and some non-convex loss functions. Furthermore, this generalized XGBoost method is extended to multivariate loss function to form a more generalized XGBoost method. This method is a multiobjective parameter regularized tree boosting method, which can model multiple parameters in most of the frequently-used parametric probability distributions to be fitted by predictor variables. Meanwhile, the related algorithms and some examples in non-life insurance pricing are given.

研究动机与目标

• 为克服XGBoost在实际应用中要求损失函数为凸函数的局限性，特别是在非凸损失函数可能更合适的情况下。
• 将XGBoost扩展至处理可同时建模参数分布多个参数的多变量损失函数。
• 开发一种适用于复杂统计建模任务的多目标、参数正则化树提升框架。
• 在非寿险定价等实际场景中展示该方法的实用性。
• 提供一种灵活、通用的提升框架，在保持XGBoost高效性的同时，扩展其适用范围。

提出的方法

• 该方法通过放松对损失函数凸性的要求，将XGBoost广义化，从而支持非凸损失函数的使用。
• 引入多目标公式，将参数分布的多个参数（如均值、方差）建模为预测变量的函数。
• 框架中引入参数正则化，以提升模型稳定性并防止过拟合。
• 算法采用基于梯度的树提升方法，结合广义损失函数，将标准XGBoost目标扩展至处理多变量输出。
• 在树学习过程中采用损失函数的二阶近似，以实现高效的优化。
• 该方法支持单变量和多变量损失函数，从而实现对参数分布的灵活建模。

实验结果

研究问题

• RQ1 XGBoost能否在不牺牲优化稳定性的前提下，推广至支持非凸损失函数？
• RQ2 如何将多变量损失函数整合到树提升中，以实现对参数分布多个参数的同时建模？
• RQ3 参数正则化在多参数拟合场景下的模型性能中产生何种影响？
• RQ4 广义XGBoost方法能否在实际的非寿险定价任务中提升预测准确性？
• RQ5 在使用非凸损失函数时，该方法与标准XGBoost相比，在灵活性和收敛性方面表现如何？

主要发现

• 广义XGBoost方法成功支持凸损失函数和非凸损失函数，显著扩展了其在原始XGBoost约束之外的应用范围。
• 该方法通过多目标提升框架，实现了对参数分布中多个参数（如均值和方差）的联合建模。
• 引入参数正则化显著提升了模型在高维或复杂拟合任务中的稳定性，并降低了过拟合风险。
• 在非寿险定价中的实证示例表明，该方法具有实际应用价值和更高的建模灵活性。
• 即使在使用广义损失函数时，该算法仍保持与标准XGBoost相当的计算效率和收敛特性。
• 第二版论文在语言表达上进行了优化，提升了清晰度，表明该方法的呈现经历了迭代完善过程。