[论文解读] Enhanced Gradient Boosting for Zero-Inflated Insurance Claims and Comparative Analysis of CatBoost, XGBoost, and LightGBM

Banghee So|arXiv (Cornell University)|Jul 15, 2023

Probability and Risk Models被引用 9

一句话总结

本文比较 CatBoost、XGBoost 和 LightGBM 在零膨胀保险索赔频率建模中的表现，提出零膨胀泊松提升树（ZIPBT），并在 MTPL 和遥测数据集上评估性能。

ABSTRACT

The property and casualty (P&C) insurance industry faces challenges in developing claim predictive models due to the highly right-skewed distribution of positive claims with excess zeros. To address this, actuarial science researchers have employed "zero-inflated" models that combine a traditional count model and a binary model. This paper investigates the use of boosting algorithms to process insurance claim data, including zero-inflated telematics data, to construct claim frequency models. Three popular gradient boosting libraries - XGBoost, LightGBM, and CatBoost - are evaluated and compared to determine the most suitable library for training insurance claim data and fitting actuarial frequency models. Through a comprehensive analysis of two distinct datasets, it is determined that CatBoost is the best for developing auto claim frequency models based on predictive performance. Furthermore, we propose a new zero-inflated Poisson boosted tree model, with variation in the assumption about the relationship between inflation probability $p$ and distribution mean $μ$, and find that it outperforms others depending on data characteristics. This model enables us to take advantage of particular CatBoost tools, which makes it easier and more convenient to investigate the effects and interactions of various risk features on the frequency model when using telematics data.

研究动机与目标

• 推动在零膨胀保险索赔数据中使用提升方法的动机，包括基于遥测特征的因素。
• 开发并比较零膨胀泊松提升树模型与标准泊松回归和 ZIP GLMs。
• 评估各库实现（CatBoost、XGBoost、LightGBM）在精算频率建模中的表现。
• 提出将膨胀概率 p 与均值 μ 相关联的 ZIP 提升树形式，以提升可解释性和交互分析。

提出的方法

• 回顾梯度提升的基础知识，以及 XGBoost、LightGBM 和 CatBoost 如何在带正则化损失的情况下实现 GBDT。
• 开发零膨胀泊松提升树 (ZIPBT)，具有两种参数化：(a) p 作为 μ 的函数，(b) p 与 μ 无关，通过两种协调的训练机制。
• 推导针对 p(μ) 链接和独立部分方法的 ZIP 损失、梯度和Hessian。
• 坐标下降式训练，在 μ 相关和 p 相关组件之间交替优化（见附录中的算法 1 与算法 2）。
• 在法国 MTPL 和一个合成遥测数据集上的实证评估，包含 11 个模型（包括泊松提升树、ZIPBT 变体和 GLM），使用交叉验证和测试集划分。

实验结果

研究问题

• RQ1 CatBoost、XGBoost 和 LightGBM 是否能够有效拟合零膨胀的保险索赔数据，以及哪一个库在汽车索赔频率的预测性能上具有优势？
• RQ2 将膨胀 p 与均值 μ 相关联的 ZIP 提升树变体是否在零膨胀数据集上优于标准泊松、ZIP 和 GLM？
• RQ3 在 ZIP 提升树中，将 p 作为 μ 的函数 vs 独立建模 p 与 μ 的相对收益是多少？
• RQ4 遥测派生特征如何在提升树框架的频率建模中与传统风险因素互动？

主要发现

• 在所评估的数据集上，CatBoost 在三大库中对汽车索赔频率的预测性能最好。
• ZIPB1 和 ZIPB2 等 ZIP 提升树变体可根据数据特征优于泊松提升树和标准 ZIP/GLM 方法。
• 在零膨胀情形下，基于 ZIP 的方法在 Deviance 偏差、伪 R 平方、Vuong 检验和随机分位残差方面的评估结果都比传统 Poisson 模型更有利。
• 在 MTPL 和遥测数据集中，零膨胀处理和具互动能力的提升提高了对高度不平衡理赔数据的频率预测。