[논문 리뷰] Customer Churn Prediction Model using Explainable Machine Learning

Jitendra Maan, Harsh Maan|arXiv (Cornell University)|2023. 03. 02.

Customer churn and segmentation인용 수 8

한 줄 요약

이 논문은 설명 가능한 ML을 사용하여 고객 이탈 예측 모델을 개발하고, 가장 효과적인 분류기로 XGBoost를 식별하며 Shapley-value 기반의 특성 중요도 설명 방식을 제안한다.

ABSTRACT

It becomes a significant challenge to predict customer behavior and retain an existing customer with the rapid growth of digitization which opens up more opportunities for customers to choose from subscription-based products and services model. Since the cost of acquiring a new customer is five-times higher than retaining an existing customer, henceforth, there is a need to address the customer churn problem which is a major threat across the Industries. Considering direct impact on revenues, companies identify the factors that increases the customer churn rate. Here, key objective of the paper is to develop a unique Customer churn prediction model which can help to predict potential customers who are most likely to churn and such early warnings can help to take corrective measures to retain them. Here, we evaluated and analyzed the performance of various tree-based machine learning approaches and algorithms and identified the Extreme Gradient Boosting XGBOOST Classifier as the most optimal solution to Customer churn problem. To deal with such real-world problems, Paper emphasize the Model interpretability which is an important metric to help customers to understand how Churn Prediction Model is making predictions. In order to improve Model explainability and transparency, paper proposed a novel approach to calculate Shapley values for possible combination of features to explain which features are the most important/relevant features for a model to become highly interpretable, transparent and explainable to potential customers.

연구 동기 및 목표

• 디지털화된 구독 기반 시장에서 고객 예측 및 유지의 도전 과제를 해결한다.
• 트리 기반 머신러닝 모델을 이탈 예측에 대해 평가하여 가장 효과적인 접근법을 식별한다.
• 모델 해석가능성을 강조하여 이해관계자에게 예측을 설명한다.
• 특성 기여를 설명하고 투명성을 개선하기 위해 Shapley-value 기반의 새로운 방법을 제안한다.

제안 방법

• 이탈 예측을 위한 트리 기반 머신러닝 접근법을 비교한다.
• 평가된 모델들 중 Extreme Gradient Boosting (XGBoost)을 최적의 분류기로 식별한다.
• 모델 예측을 설명하기 위해 특징 조합에 대한 Shapley 값을 계산하는 새로운 접근법을 개발한다.
• 이해관계자가 이탈 예측을 이해할 수 있도록 해석가능성과 투명성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 트리 기반 방법 중 어떤 머신러닝 모델이 이탈 예측에 대해 가장 좋은 성능을 제공하는가?
• RQ2 예측 가능 고객을 위한 이탈 예측의 설명 가능성과 투명성을 어떻게 향상시킬 수 있는가?
• RQ3 Shapley-value 기반 설명에 따라 예측에 가장 영향을 미치는 특징은 무엇인가?
• RQ4 Shapley-value 기반 접근 방식이 이탈 모델의 특징 조합을 효과적으로 설명할 수 있는가?

주요 결과

• XGBoost 분류기가 이탈 예측에 가장 최적의 솔루션으로 확인되었다.
• 가능한 특징 조합이 예측에 미치는 영향을 설명하기 위해 새로운 Shapley-value 기반 접근법이 제안되었다.
• 본 연구는 이탈 예측을 고객과 이해관계자에게 이해하기 쉽도록 모델 해석가능성에 중점을 둔다.