[논문 리뷰] Enhanced Gradient Boosting for Zero-Inflated Insurance Claims and Comparative Analysis of CatBoost, XGBoost, and LightGBM

Banghee So|arXiv (Cornell University)|2023. 07. 15.

Probability and Risk Models인용 수 9

한 줄 요약

본 논문은 제로-인플레이티드 보험 청구 빈도 모델링에 대해 CatBoost, XGBoost, LightGBM을 비교하고, ZIP 부스팅 트리(ZIPBT)를 도입하며 MTPL 및 텔레매틱스 데이터 세트에서 성능을 평가한다.

ABSTRACT

The property and casualty (P&C) insurance industry faces challenges in developing claim predictive models due to the highly right-skewed distribution of positive claims with excess zeros. To address this, actuarial science researchers have employed "zero-inflated" models that combine a traditional count model and a binary model. This paper investigates the use of boosting algorithms to process insurance claim data, including zero-inflated telematics data, to construct claim frequency models. Three popular gradient boosting libraries - XGBoost, LightGBM, and CatBoost - are evaluated and compared to determine the most suitable library for training insurance claim data and fitting actuarial frequency models. Through a comprehensive analysis of two distinct datasets, it is determined that CatBoost is the best for developing auto claim frequency models based on predictive performance. Furthermore, we propose a new zero-inflated Poisson boosted tree model, with variation in the assumption about the relationship between inflation probability $p$ and distribution mean $μ$, and find that it outperforms others depending on data characteristics. This model enables us to take advantage of particular CatBoost tools, which makes it easier and more convenient to investigate the effects and interactions of various risk features on the frequency model when using telematics data.

연구 동기 및 목표

• 텔레매틱스 기반 특징을 포함한 제로-인플레이티드 보험 청구 데이터에 부스팅 기법의 활용을 동기화한다.
• 표준 Poisson 및 ZIP GLM과 대조하여 제로-인플레이티드 포아송 부스팅 트리 모델을 개발하고 비교한다.
• 보험계리 빈도 모델링을 위한 라이브러리별 구현(CatBoost, XGBoost, LightGBM)을 평가한다.
• 해석가능성과 상호작용 분석을 개선하기 위해 p를 μ와 연결하는 ZIP 부스팅 트리 공식들을 제안한다.

제안 방법

• 그래디언트 부스팅의 기본 개요와 XGBoost, LightGBM, CatBoost가 규제 손실로 GBDT를 구현하는 방식에 대한 검토.
• 두 가지 연계된 학습 체계를 통해 두 매개변수화로 ZIPBT를 개발: (a) p를 μ의 함수로, (b) p와 μ가 서로 관련이 없는 경우.
• p(μ) 연결 및 독립 부분 접근법에 대한 ZIP 손실, 기울기(gradient), 헤essian의 도출.
• μ 관련 구성요소와 p 관련 구성요소 간의 교대 최적화를 위한 좌표 하강(coordinate descent) 방식의 학습(부록의 알고리즘 1 및 2).
• 프랑스 MTPL 및 합성 텔레매틱스 데이터 세트에 대한 실증 평가로 Poisson 부스팅 트리, ZIPBT 변형 및 GLM을 포함한 11개 모델을 교차검증과 테스트 분할을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 CatBoost, XGBoost, LightGBM가 제로-인플레이티드 보험 청구 데이터에 효과적으로 적합하며, 자동차 청구 빈도에 대한 예측 성능이 가장 우수한 라이브러리는 무엇인가?
• RQ2 인플레이션 p를 평균 μ에 연결하는 ZIP 부스팅 트리 변형들이 표준 Poisson, ZIP, GLM보다 제로-인플레이티드 데이터셋에서 성능이 우수한가?
• RQ3 ZIP 부스팅 트리에서 p를 μ의 함수로 모델링하는 것과 p와 μ를 독립적으로 모델링하는 것의 상대적 이점은 무엇인가?
• RQ4 텔레매틱스 파생 특징이 전통적 위험 요인과 보스팅 트리 프레임워크에서 어떻게 상호작용하는가?

주요 결과

• CatBoost가 평가된 데이터셋에서 세 라이브러리 중 자동차 청구 빈도에 대해 가장 우수한 예측 성능을 보인다.
• ZIP 부스팅 트리 변형(ZIPB1 및 ZIPB2)은 데이터 특성에 따라 Poisson 부스팅 트리 및 표준 ZIP/GLM 접근법보다 우수한 성능을 보일 수 있다.
• 모델 평가를 Deviance, Pseudo R-squared, Vuong 테스트, 및 Randomized Quantile Residuals를 이용해 수행한 결과 ZIP 기반 접근법이 제로-인플레이티드 설정에서 전통적인 Poisson 모델보다 우수한 것으로 나타난다.
• MTPL 및 텔레매틱스 데이터 세트에서 제로 인플레이션 처리 및 상호작용이 가능한 부스팅이 매우 불균형한 청구 데이터의 빈도 예측을 개선한다.