[논문 리뷰] Tweedie Gradient Boosting for Extremely Unbalanced Zero-inflated Data

He Zhou, Yi Yang외 1명|arXiv (Cornell University)|2018. 11. 26.

Probability and Risk Models참고 문헌 21인용 수 5

한 줄 요약

이 논문은 기존 Tweedie 모델이 과도한 영 값 비율로 인해 실패하는 극도로 불균형하고 영 값이 풍부한 보험 청구 데이터를 다루기 위해, 비모수 Tweedie 모델과 영 값 과잉 성분을 기반으로 한 EM 알고리즘을 융합한 새로운 경사 부스팅 프레임워크인 EMTboost를 제안한다. 블록 단위의 좌표 강하와 나무 기반 경사 부스팅을 활용하여 복잡한 비선형성과 상호작용을 모델링하며, 특히 90% 이상의 영 값 청구를 포함한 극단적 영 값 과잉 상황에서 기존 Tweedie 모델 및 경쟁 모델 대비 예측 정확도를 크게 향상시킨다.

ABSTRACT

Tweedie's compound Poisson model is a popular method to model insurance claims with probability mass at zero and nonnegative, highly right-skewed distribution. In particular, it is not uncommon to have extremely unbalanced data with excessively large proportion of zero claims, and even traditional Tweedie model may not be satisfactory for fitting the data. In this paper, we propose a boosting-assisted zero-inflated Tweedie model, called EMTboost, that allows zero probability mass to exceed a traditional model. We makes a nonparametric assumption on its Tweedie model component, that unlike a linear model, is able to capture nonlinearities, discontinuities, and complex higher order interactions among predictors. A specialized Expectation-Maximization algorithm is developed that integrates a blockwise coordinate descent strategy and a gradient tree-boosting algorithm to estimate key model parameters. We use extensive simulation and data analysis on synthetic zero-inflated auto-insurance claim data to illustrate our method's prediction performance.

연구 동기 및 목표

• 기존 Tweedie 모델이 과도한 영 값 비율으로 인해 실패하는 극도로 불균형하고 영 값이 풍부한 보험 청구 데이터를 모델링하는 데 도전하는 것.
• 청구 데이터의 예측 변수 간 비선형 관계와 고차원 상호작용을 포괄하는 유연하고 비모수적 접근법을 개발하는 것.
• 기대치-최대화(EM) 알고리즘을 사용해 영 값 과잉 혼합 모델과 Tweedie 성분을 통합하여 영 값 확률과 Tweedie 모수를 동시 추정하는 것.
• 나무 기반 경사 부스팅을 통해 Tweedie 성분에 대한 예측 성능을 향상시켜 영 손실 및 양의 손실 예측 모두에서 성능을 개선하는 것.
• 결측치, 외포값, 혼합된 예측 변수 유형을 나무 기반 학습을 통해 자연스럽게 처리할 수 있는 강건하고 계산 효율적인 방법을 제공하는 것.

제안 방법

• 영 값에서의 확률질량과 비모수 Tweedie 분포를 조합한 영 값 과잉 Tweedie 모델을 제안하며, 이는 민감도가 높은 링크 함수를 포함한다.
• 영 값 과잉 확률과 Tweedie 모수를 반복적으로 추정하기 위해 기대치-최대화(EM) 알고리즘을 적용한다.
• 블록 단위의 좌표 강하와 결정 트리 기반 경사 부스팅을 융합하여 Tweedie 성분의 평균 구조를 비모수적으로 모델링한다.
• 영 값과 양의 청구 결과를 모두 고려한 특수한 손실 함수를 사용하여 영 값 확률과 피해 규모 예측을 동시에 최적화한다.
• 다음 단계의 트리 피팅을 통해 미분 가능한 손실 함수를 최소화하는 부스팅 전략을 적용하여 모델 적합도를 향상시키고 편향을 줄인다.
• 결측치와 외포값을 나무 기반 부스팅 메커니즘을 통해 자연스럽게 처리하며, 사전 처리 없이도 데이터를 적응적으로 분할한다.

실험 결과

연구 질문

• RQ1 비모수 Tweedie 모델에 영 값 과잉 성분을 통합한 모델이 기존의 파라미터 모형 Tweedie 모델보다 극도로 불균형한 보험 청구 데이터 예측에서 더 우수한 성능을 보일 수 있는가?
• RQ2 경사 부스팅과 EM 알고리즘을 융합함으로써 영 값 과잉, 오른쪽으로 치우친 청구 데이터에서 예측 정확도가 어떻게 향상되는가?
• RQ3 EMTboost는 선형 모형이나 스퍼라인 기반 모형에 비해 청구 예측 변수 간의 복잡한 비선형성과 고차원 상호작용을 어느 정도 잘 포착할 수 있는가?
• RQ4 다양한 수준의 영 값 과잉(λ)에서 EMTboost는 기존의 Grabit 및 TDboost와 비교해 어떤 성능을 보이는가?
• RQ5 영 값 청구 비율이 90%를 초과하는 경우, 특히 비영 값 청구의 표본 수가 적은 상황에서 EMTboost는 여전히 뛰어난 성능을 유지하는가?

주요 결과

• EMTboost는 모든 테스트된 λ 수준에서 가장 낮은 평균 절대편차(MAD)를 기록했으며, λ=0.05일 때 최종 MAD는 0.402로 Grabit 및 TDboost를 크게 앞섰다.
• 영 손실 데이터셋에서 EMTboost는 평균 MAD 0.146을 기록하여 TDboost(0.269)와 Grabit(0.422)를 모두 압도했으며, 이는 영 값 확률 추정에서 뛰어난 성능을 의미한다.
• 양의 손실 데이터셋에서 EMTboost의 MAD는 10.406이었으며, Grabit(9.927)에 비해 다소 열등했지만, 이는 비영 값 청구 수가 극히 적었기 때문이었다(약 3000건 중 약 100건).
• 비영 값 표본 수를 λ=0.2로 고정하고 영 손실 데이터를 오버샘플링(η=3)한 조건에서 EMTboost는 Gini^b 지수 0.056을 기록하며 경쟁 모델 대비 뛰어난 성능을 유지했으며, 영 값 비율이 높은 설정에서 유의미한 우월성을 보였다.
• 모든 λ 수준에서 EMTboost는 가장 낮은 Gini^b 지수를 기록하여, 특히 극단적 영 값 과잉 상황에서 양의 손실 예측에 대해 뛰어난 순위 정렬 성능을 보였다.
• 나무 기반 부스팅 아키텍처 덕분에 결측치와 외포값에 대해 강건성을 보였으며, 이는 이질적인 예측 변수 유형과 데이터 비정상성도 자연스럽게 처리할 수 있게 했다.