[논문 리뷰] Machine Learning with High-Cardinality Categorical Features in Actuarial Applications

Benjamin Avanzi, G. B. Taylor외 2명|arXiv (Cornell University)|2023. 01. 30.

Insurance, Mortality, Demography, Risk Management인용 수 4

한 줄 요약

이 논문은 보험 데이터에서 고카디널리티 카디널리티 카테고리형 특징을 모델링하기 위해 일반선형혼합모형(GLMM)을 딥러닝과 통합한 새로운 신경망 아키텍처인 GLMMNet을 제안한다. 복잡한 반응 분포를 다루기 위해 변분 추론을 사용하고 해석 가능한 랜덤 효과를 유지함으로써, GLMMNet은 엔티티 임베딩 기반 신경망과 비슷하거나 더 뛰어난 예측 성능를 달성하면서도 투명성과 확률적 불확실성 추정을 제공한다.

ABSTRACT

High-cardinality categorical features are pervasive in actuarial data (e.g. occupation in commercial property insurance). Standard categorical encoding methods like one-hot encoding are inadequate in these settings. In this work, we present a novel _Generalised Linear Mixed Model Neural Network_ ("GLMMNet") approach to the modelling of high-cardinality categorical features. The GLMMNet integrates a generalised linear mixed model in a deep learning framework, offering the predictive power of neural networks and the transparency of random effects estimates, the latter of which cannot be obtained from the entity embedding models. Further, its flexibility to deal with any distribution in the exponential dispersion (ED) family makes it widely applicable to many actuarial contexts and beyond. We illustrate and compare the GLMMNet against existing approaches in a range of simulation experiments as well as in a real-life insurance case study. Notably, we find that the GLMMNet often outperforms or at least performs comparably with an entity embedded neural network, while providing the additional benefit of transparency, which is particularly valuable in practical applications. Importantly, while our model was motivated by actuarial applications, it can have wider applicability. The GLMMNet would suit any applications that involve high-cardinality categorical variables and where the response cannot be sufficiently modelled by a Gaussian distribution.

연구 동기 및 목표

• 보험 데이터에서 흔한 고카디널리티 카테고리형 특징을 모델링하는 데 있어 one-hot 인코딩과 엔티티 임베딩의 한계를 해결하기 위해.
• 블랙박스 신경망 임베딩의 해석 불가능성을 극복하면서도 예측 능력을 유지하기 위해.
• LMMNN 프레임워크를 전체 지수 분산 가족 분포로 확장하여 비대칭적인 보험 데이터를 더 잘 모델링할 수 있도록 하기 위해.
• 카테고리 분포가 불균형한 대규모 고카디널리티 변수를 효율적으로 처리할 수 있는 계산적으로 효율적인 방법을 개발하기 위해.
• 기존 딥러닝 모델에 비해 투명하고 해석 가능하며 민첩한 보험 적용 분야의 대안을 제공하기 위해.

제안 방법

• 고카디널리티 카테고리형 특징을 랜덤 효과로 간주하여, 일반선형혼합모형(GLMM)을 딥신경망 아키텍처에 통합하기 위해.
• 원래 LMMNN에서 카테고리형 특징에 대한 비선형 변환을 제거하여 랜덤 효과 추정치의 해석 가능성을 유지하기 위해.
• GLMM의 비가역적 우도 적분을 근사하기 위해 변분 추론을 사용하여 비정규 반응 분포를 가진 경우에도 효율적인 훈련이 가능하도록 하기 위해.
• 반응 변수가 지수 분산 가족의 어떤 분포(예: 포isson, 감마, 베르누이)이든 가능하게 하여 보험 데이터 적용 가능성 향상시키기 위해.
• 역전파를 사용한 엔드 투 엔드 훈련을 수행하며, 확률적 경사 하강법과 정규화를 통해 과적합 방지하기 위해.
• 랜덤 효과의 사후 예측 분포를 통해 확률적 예측을 가능하게 하여 랜덤 효과에 대한 불확실성 추정치 포함하기 위해.

실험 결과

연구 질문

• RQ1 하이퍼카디널리티 카테고리형 특징에 대해 하이브리드 신경망–GLMM 모델이 표준 엔티티 임베딩 신경망보다 예측 정확도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 블랙박스 임베딩과 비교해 GLMMNet 모델이 어떻게 투명한 랜덤 효과 추정치를 통해 해석 가능성을 유지하는가?
• RQ3 GLMMNet의 성능가 보험 데이터에서 흔한 다양한 반응 분포(예: 포isson, 감마, 베르누이)에서 얼마나 잘 작동하는가?
• RQ4 비가역적 우도를 근사하기 위해 변분 추론이 계산 효율성과 모델 정확도를 유지하면서 효과적으로 작동할 수 있는가?
• RQ5 특히 정규화가 적용된 경우, 낮은 신호 대 잡음 비율 환경에서도 GLMMNet 모델이 강건한가?

주요 결과

• GLMMNet은 다양한 시뮬레이션 실험과 실제 보험 사례 연구에서 엔티티 임베딩 기반 신경망과 비교해 일관되게 우수하거나 동등한 성능을 보였다.
• 고카디널리티 설정에서 비대칭적이고 과분산된 반응 변수(예: 사고 건수, 피해 규모)에 대해 뛰어난 예측 성능를 달성했다.
• GLMMNet에서 도출된 랜덤 효과 추정치는 해석 가능하며 통계적 추론(예: 더 높거나 낮은 위험을 가진 직업 식별)이 가능하다. 이는 표준 엔티티 임베딩에서는 불가능한 일이다.
• 변분 추론을 활용함으로써 분석적 우도 해법이 없는 복잡한 분포(예: 감마, 포isson)를 효율적으로 훈련할 수 있게 되어 모델의 적용 범위가 넓어졌다.
• GLMMNet의 정규화는 신호 대 잡음 비율이 낮은 환경에서 모델 성능을 복원하며, 이는 부스팅 모델이 우세할 수 있는 상황에서 유의미하다.
• 모델는 유효한 확률적 예측을 생성하며, 랜덤 효과에 대한 95퍼센트 신뢰구간 포함하여 위험 평가 및 의사결정 지원에 활용도를 높였다.