[論文レビュー] Model Comparison and Calibration Assessment: User Guide for Consistent Scoring Functions in Machine Learning and Actuarial Practice

Tobias Fissler, Christian Lorentzen+1 more|arXiv (Cornell University)|Feb 25, 2022

Big Data and Business Intelligence被引用数 9

ひとこと要約

このユーザーガイドは、事前に指定された予測ターゲット機能（例：平均値や分位数）に特化した厳密に一貫したスコア関数および厳密な識別関数を用いて、機械学習および保険数理分野におけるモデル比較およびキャリブレーション評価のきめ細やかなフレームワークを提示する。実世界の事例研究を通じて、対数損失などの厳密に一貫したスコア関数が、同時にキャリブレーションと識別性能を評価できることを示しており、ランダムフォレストにおける過剰適合の影響にもかかわらず、ロジスティック回帰が汎化性能において他の木構造モデルを上回っていることが明らかになった。

ABSTRACT

One of the main tasks of actuaries and data scientists is to build good predictive models for certain phenomena such as the claim size or the number of claims in insurance. These models ideally exploit given feature information to enhance the accuracy of prediction. This user guide revisits and clarifies statistical techniques to assess the calibration or adequacy of a model on the one hand, and to compare and rank different models on the other hand. In doing so, it emphasises the importance of specifying the prediction target functional at hand a priori (e.g. the mean or a quantile) and of choosing the scoring function in model comparison in line with this target functional. Guidance for the practical choice of the scoring function is provided. Striving to bridge the gap between science and daily practice in application, it focuses mainly on the pedagogical presentation of existing results and of best practice. The results are accompanied and illustrated by two real data case studies on workers' compensation and customer churn.

研究の動機と目的

• 機械学習および保険数理応用分野におけるモデルキャリブレーションの評価および予測性能の比較のための原理的かつ整合性のある手法を確立すること。
• スコア関数および識別関数を、事前にターゲット統計的機能（例：平均値、分位数）に一致させる必要性を強調すること。
• 理論的統計的手法とデータサイエンスおよび保険実務における実装のギャップを埋めること。
• 適切なスコア関数の選定および独立したテストデータを用いたモデル評価のための実行可能なガイダンスを提供すること。
• モデルの過剰適合の影響およびトレイン・テストデータ分割の重要性を、実証的ケーススタディを通じて提示すること。

提案手法

• 本稿は、最適な予測が真の条件付き機能に対応するように保証するため、対数スコア（log loss）やブレグマン損失などの厳密に一貫したスコア関数を用いたモデル比較を提案する。
• 予測が真の機能に対して不偏であるかどうかをテストすることで、キャリブレーションを評価するために厳密な識別関数（例：モーメント関数）を用いる。
• 本手法は、労働者補償請求および顧客離脱の2つの実世界データセットに適用され、回帰および二値分類タスクが実施された。
• 過剰適合バイアスを避けるために、トレイン・テストデータ分割を用いて汎化性能を評価した。
• Murphy図を用いて、さまざまな一貫したスコア関数におけるモデルの性能を可視化し、単一の指標を超えた堅牢な比較を可能にした。
• ロジスティック損失の分解を通じて、識別性能と誤差（miscalibration）の成分を明らかにし、指標間の順位の一貫性を説明した。

実験結果

リサーチクエスチョン

• RQ1 予測ターゲットが平均値や分位数などの統計的機能である場合、どのようにしてモデルキャリブレーションを厳密に評価できるか？
• RQ2 モデル比較のためのスコア関数の選定にあたって、どのような基準を設け、またその関数がターゲット機能とどのように一致させるべきか？
• RQ3 厳密に一貫したスコア関数は、予測モデルにおいてキャリブレーションと識別性能の両方を同時に評価する程度はどの程度か？
• RQ4 対数回帰、ランダムフォレスト、XGBoostなどの異なるモデルが、一貫したスコア関数で評価された場合、汎化性能においてどの程度の差が生じるか？
• RQ5 AUCの順位は、真の予測性能を反映していると信頼できるのか、それとも厳密に一貫したスコア関数による結果と乖離するのか？

主な発見

• ロジスティック回帰は、相互作用項や多項式特徴量を最適化しなかったにもかかわらず、テストセットにおける平均対数損失が最小であり、最も優れた汎化性能を示した。
• ランダムフォレストは、イン-sample性能は優れていたが、トレインデータと比較してテストセットにおける平均対数損失が著しく上昇したことから、顕著な過剰適合が確認された。
• XGBoostはテストセットにおいてランダムフォレストをわずかに上回ったが、依然としてロジスティック回帰に劣っており、小規模データセットでは木構造モデルが一般化性能に劣ることが示唆された。
• AUCと対数損失の順位は偶然一致したが、これは対数損失分解における識別成分の優位性に起因しており、その説明がなされた。
• Murphy図は、ロジスティック回帰が広範な一貫したスコア関数の範囲で最も一貫性のある性能を示していることを視覚的に確認したが、差は小さかった。
• 本研究は、特に対数損失を含む厳密に一貫したスコア関数が、理論的根拠を有し、キャリブレーションと識別性能を同時に評価できるため、AUCよりもモデル比較に優れていることを確認した。