[논문 리뷰] Model Comparison and Calibration Assessment: User Guide for Consistent Scoring Functions in Machine Learning and Actuarial Practice

Tobias Fissler, Christian Lorentzen외 1명|arXiv (Cornell University)|2022. 02. 25.

Big Data and Business Intelligence인용 수 9

한 줄 요약

이 사용자 가이드는 기존에 지정된 예측 목표 기능(예: 평균 또는 분위수)에 맞게 조정된 엄격한 일致성 점수 함수와 엄격한 식별 함수를 사용하여 기계학습 및 보험 과학 분야에서 모델 비교 및 校정 평가를 위한 철저한 프레임워크를 제시한다. 실제 사례 연구를 통해 엄격한 일치성 점수 함수(예: 로그 손실)가 동시에 校정과 분류 성능을 평가함을 입증하며, 로지스틱 회귀 모델이 랜덤 포레스트보다 외부 샘플 예측 정확도에서 뛰어나지만, 랜덤 포레스트는 과적합 문제를 보임을 확인한다.

ABSTRACT

One of the main tasks of actuaries and data scientists is to build good predictive models for certain phenomena such as the claim size or the number of claims in insurance. These models ideally exploit given feature information to enhance the accuracy of prediction. This user guide revisits and clarifies statistical techniques to assess the calibration or adequacy of a model on the one hand, and to compare and rank different models on the other hand. In doing so, it emphasises the importance of specifying the prediction target functional at hand a priori (e.g. the mean or a quantile) and of choosing the scoring function in model comparison in line with this target functional. Guidance for the practical choice of the scoring function is provided. Striving to bridge the gap between science and daily practice in application, it focuses mainly on the pedagogical presentation of existing results and of best practice. The results are accompanied and illustrated by two real data case studies on workers' compensation and customer churn.

연구 동기 및 목표

• 기계학습 및 보험 적용 분야에서 모델의 校정 평가 및 예측 성능 비교를 위한 원칙적인 방법론을 수립하기.
• 점수 함수와 식별 함수를 사전에 예측 기능(예: 평균, 분위수)과 일치시켜야 하는 필요성을 강조하기.
• 이론적 통계 방법론과 데이터 과학 및 보험 실무의 구현 간 격차를 메우기.
• 적절한 점수 함수 선택 및 독립된 테스트 데이터를 통한 모델 평가를 위한 실질적인 지침 제공하기.
• 모델 과적합의 영향과 훈련-테스트 데이터 분할의 중요성을 실증 사례를 통해 설명하기.

제안 방법

• 논문은 모델 비교를 위해 엄격한 일치성 점수 함수(예: 로그 손실, 브레만 발산)를 제안하여 최적의 예측이 진정한 조건부 기능과 일치하도록 보장한다.
• 예측이 진정한 기능과 비편향임을 테스트함으로써 校정을 평가하기 위해 엄격한 식별 함수(예: 모멘트 함수)를 사용한다.
• 이 방법론은 노동자 보상 청구 및 고객 이탈 데이터셋 두 개에 적용되었으며, 각각 회귀 및 이元 분류 과제를 수행하였다.
• 모델 선택에서 과적합 편향을 피하기 위해 훈련-테스트 데이터 분할을 사용하여 외부 샘플 성능을 평가한다.
• 모델 성능을 다양한 일관성 있는 점수 함수에 대해 시각화하기 위해 머피 다이어그램(Murphy diagrams)을 사용한다. 이는 단일 지표를 넘어서 강력한 비교를 가능하게 한다.
• 로그 손실을 분류 성능과 잘못된 校정 성능로 분해하여 지표 간 순위 일致성의 원인을 설명한다.

실험 결과

연구 질문

• RQ1 예측 목표가 평균 또는 분위수와 같은 통계 기능일 경우, 어떻게 모델의 校정을 철저히 평가할 수 있는가?
• RQ2 모델 비교를 위한 점수 함수 선택 기준은 무엇이며, 이를 예측 기능과 어떻게 일치시켜야 하는가?
• RQ3 엄격한 일치성 점수 함수가 예측 모델에서 동시에 校정과 분류 성능을 평가하는 데 얼마나 효과적인가?
• RQ4 일관성 있는 점수 함수로 평가했을 때, 다양한 모델(예: 로지스틱 회귀, 랜덤 포레스트, XGBoost)의 외부 샘플 예측 정확도는 어떻게 다른가?
• RQ5 AUC 순위는 진정한 예측 성능을 반영할 수 있는가, 아니면 엄격한 일치성 점수 함수로 얻은 결과와 다를 수 있는가?

주요 결과

• 로지스틱 회귀 모델은 상호작용 항이나 다항식 특징을 최적화하지 않았음에도 불구하고, 테스트 세트에서 가장 낮은 평균 로그 손실을 기록하여 가장 뛰어난 외부 샘플 예측 성능을 보였다.
• 랜덤 포레스트는 훈련 데이터에서는 뛰어난 성능를 보였지만, 테스트 세트에서 훈련 데이터 대비 평균 로그 손실이 급격히 증가함으로써 심각한 과적합이 발생한 것으로 확인되었다.
• XGBoost는 테스트 세트에서 랜덤 포레스트보다 略적으로 더 나은 성능를 보였지만, 여전히 로지스틱 회귀보다 열 劣하였으며, 이는 나무 기반 모델이 소규모 데이터셋에서 일반화 성능이 떨어질 수 있음을 시사한다.
• AUC와 로그 손실 순위가 우연히 일치했지만, 이는 로그 손실 분해에서 분류 성능 성분이 잘못된 校정 성능 성분을 압도하기 때문이었다.
• 머피 다이어그램은 로지스틱 회귀가 다양한 일관성 있는 점수 함수에 걸쳐 가장 일관된 성능를 보였음을 시각적으로 확인했으며, 다만 성능 격차는 미미했다.
• 엄격한 일치성 점수 함수—특히 로그 손실—가 AUC보다 모델 비교에 더 선호된다는 점을 확인하였으며, 이는 이론적으로 탄탄하고 동시에 校정과 분류 성능을 종합적으로 평가하기 때문이다.