[論文レビュー] Tweedie Gradient Boosting for Extremely Unbalanced Zero-inflated Data

He Zhou, Yi Yang+1 more|arXiv (Cornell University)|Nov 26, 2018

Probability and Risk Models参考文献 21被引用数 5

ひとこと要約

本稿では、EMアルゴリズムを用いて非パラメトリックな Tweedie モデルとゼロインflated 要因を統合することで、ゼロ値が極めて多く、歪度が高い保険損害データ向けに、EMTboost と呼ばれる新しい勾配ブースティングフレームワークを提案する。ブロックワイズ座標降下法と木構造の勾配ブースティングを活用し、複雑な非線形性と交互作用をモデル化することで、特にゼロ値割合が90％を超える極端なゼロインフレート状況において、従来の Tweedie モデルや他の競合モデルと比較して予測精度を著しく向上させる。

ABSTRACT

Tweedie's compound Poisson model is a popular method to model insurance claims with probability mass at zero and nonnegative, highly right-skewed distribution. In particular, it is not uncommon to have extremely unbalanced data with excessively large proportion of zero claims, and even traditional Tweedie model may not be satisfactory for fitting the data. In this paper, we propose a boosting-assisted zero-inflated Tweedie model, called EMTboost, that allows zero probability mass to exceed a traditional model. We makes a nonparametric assumption on its Tweedie model component, that unlike a linear model, is able to capture nonlinearities, discontinuities, and complex higher order interactions among predictors. A specialized Expectation-Maximization algorithm is developed that integrates a blockwise coordinate descent strategy and a gradient tree-boosting algorithm to estimate key model parameters. We use extensive simulation and data analysis on synthetic zero-inflated auto-insurance claim data to illustrate our method's prediction performance.

研究の動機と目的

• 従来の Tweedie モデルが過剰なゼロ値割合のため失敗する、極めて不均衡でゼロ値が多様な保険損害データのモデリング課題に対処すること。
• 予測子間の複雑な非線形関係および高次相互作用を捉える柔軟で非パラメトリックなアプローチを開発すること。
• 期待値最大化（EM）アルゴリズムを用いてゼロインフレート混合モデルと Tweedie 成分を統合し、ゼロ確率と Tweedie パラメータを同時に推定すること。
• Tweedie 成分に勾配木ブースティングを適用することで、ゼロ損失および正の損失予測の両方の予測性能を向上させること。
• 欠損値、外れ値、混合タイプの予測子を木構造学習によって自然に処理できる、堅牢で計算効率の良い手法を提供すること。

提案手法

• ゼロ点質量と柔軟なリンク関数を備えた非パラメトリックな Tweedie 分布の混合としてゼロインフレート Tweedie モデルを提案する。
• ゼロインフレート確率と Tweedie パラメータの反復的推定に、期待値最大化（EM）アルゴリズムを用いる。
• ブロックワイズ座標降下法と決定木を弱学習器とする勾配木ブースティングを統合し、Tweedie 成分の平均構造を非パラメトリックにモデル化する。
• ゼロと正の損害結果の両方を考慮した特化した損失関数を用い、ゼロ確率と重度予測の共同最適化を可能にする。
• 微分可能な損失関数を逐次的木の適合によって最小化するブースティング戦略を適用し、モデル適合の向上とバイアスの低減を図る。
• データの適応的分割を実現する木構造のブースティング機構により、事前処理を要せず、欠損値や外れ値を自然に処理する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな Tweedie モデルにゼロインフレート要因を組み込んだモデルは、極めて不均衡な保険損害データの予測において、従来のパラメトリックな Tweedie モデルを上回る性能を発揮するか？
• RQ2 勾配ブースティングと EM アルゴリズムの統合は、ゼロインフレートで右に歪んだ損害データの予測精度をどのように向上させるか？
• RQ3 EMTboost は、線形モデルやスプラインベースのモデルと比較して、損害予測子における複雑な非線形性と高次相互作用をどの程度正確に捉えることができるか？
• RQ4 ゼロインフレートの度合い（λ）が変化する条件下で、EMTboost は Grabit や TDboost と比較してどの程度の性能を示すか？
• RQ5 ゼロ損害の割合が90％を超える状況、特に非ゼロ損害のサンプルサイズが小さい状況でも、EMTboost は優れた性能を維持するか？

主な発見

• EMTboost は、全テスト λ 水準で最小の平均絶対偏差（MAD）を達成し、λ=0.05 時に最終的な MAD が 0.402 にまで低下し、Grabit や TDboost を著しく上回った。
• ゼロ損失データセットでは、EMTboost の平均 MAD が 0.146 と最小であり、TDboost（0.269）や Grabit（0.422）を上回った。これは、ゼロ確率推定の優れた性能を示している。
• 正の損失データセットでは、EMTboost の MAD は 10.406 であったが、Grabit（9.927）よりわずかに劣っていた。これは、非ゼロ損害観測数が非常に少ない（約3000中約100件）ための結果である。
• 非ゼロサンプルサイズを λ=0.2 に固定し、ゼロ損失データをオーバーサンプリング（η=3）した状況でも、EMTboost は Gini^b 指数 0.056 を維持し、ゼロ割合が高い状況でも Grabit や TDboost を上回る競争力のある性能を示した。
• EMTboost は、全 λ 水準で最小の Gini^b 指数を達成し、特に極端なゼロインフレート状況において、正の損害の順位付け性能が優れていることが示された。
• 木構造のブースティングアーキテクチャのおかげで、欠損値や外れ値に対して頑健であることが実証され、異種の予測子タイプやデータの不規則性を自然に処理できる。