[논문 리뷰] Predicting Near-Future Churners and Win-Backs in the Telecommunications Industry

Clifton Phua, Hong Cao외 2명|arXiv (Cornell University)|2012. 10. 24.

Customer churn and segmentation참고 문헌 5인용 수 7

한 줄 요약

이 논문은 대규모 실세계 데이터셋을 사용하여 통신 분야에서 근래의 이탈자 및 재유입 고객을 예측하기 위한 기계학습 접근법을 제안한다. 서비스 이용 및 지불 관련 지표를 포함한 원천적 및 파생된 특징을 추출함으로써, 불균형 데이터에서 RandomForest 및 SimpleCart 분류기가 강력한 성능을 보임을 입증한다. 특히 서비스 계획과 이용 패턴 간의 괴리가 가장 예측력 있는 요소로 나타났다.

ABSTRACT

In this work, we presented the strategies and techniques that we have developed for predicting the near-future churners and win-backs for a telecom company. On a large-scale and real-world database containing customer profiles and some transaction data from a telecom company, we first analyzed the data schema, developed feature computation strategies and then extracted a large set of relevant features that can be associated with the customer churning and returning behaviors. Our features include both the original driver factors as well as some derived features. We evaluated our features on the imbalance corrected dataset, i.e. under-sampled dataset and compare a large number of existing machine learning tools, especially decision tree-based classifiers, for predicting the churners and win-backs. In general, we find RandomForest and SimpleCart learning algorithms generally perform well and tend to provide us with highly competitive prediction performance. Among the top-15 driver factors that signal the churn behavior, we find that the service utilization, e.g. last two months' download and upload volume, last three months' average upload and download, and the payment related factors are the most indicative features for predicting if churn will happen soon. Such features can collectively tell discrepancies between the service plans, payments and the dynamically changing utilization needs of the customers. Our proposed features and their computational strategy exhibit reasonable precision performance to predict churn behavior in near future.

연구 동기 및 목표

• 실제 통신 데이터셋에서 근래의 이탈 및 재유입 행동을 예측할 수 있는 특징을 규명하기 위해.
• 이탈 예측에서의 클래스 불균형 문제를 보완하기 위해 언더샘플링 기법을 적용하기 위해.
• 결정 트리 기반 모델을 중심으로 다양한 기계학습 알고리즘의 이탈 및 재유입 예측 성능을 평가하기 위해.
• 이용 및 지불 패턴을 통해 동적 고객 행동을 반영하는 특징 계산 전략을 개발하기 위해.
• 통신 기업이 고객을 선제적으로 유지를 위해 실질적인 통찰을 제공하기 위해.

제안 방법

• 고객 프로필 및 거래 데이터에서 서비스 이용 및 지불 행동에 중점을 두고, 대규모의 원천적 및 파생된 특징을 추출하였다.
• 데이터셋의 클래스 불균형을 보정하기 위해 언더샘플링을 적용하여 소수 클래스에 대한 모델 일반화 능력을 향상시켰다.
• 결정 트리 기반 분류기인 RandomForest 및 SimpleCart에 중점을 두고 다양한 기계학습 도구를 평가하였다.
• 특징 중요도 분석을 통해 이탈 및 재유입 행동의 주요 예측 요소를 규명하였다.
• 공학된 특징을 기반으로 예측 모델을 구축하고 정밀도 지표를 통해 성능을 평가하였다.
• 최근 이용 패턴(예: 최근 2개월 데이터)과 행동의 동적 변화에 중점을 두어 근래 예측에 집중하였다.

실험 결과

연구 질문

• RQ1 통신 서비스에서 근래의 이탈 또는 재유입 행동을 예측하는 데 가장 유용한 고객 특징은 무엇인가?
• RQ2 서비스 이용 패턴과 지불 요소는 고객 이탈 또는 재접속과 어떻게 연관되어 있는가?
• RQ3 불균형한 통신 이탈 예측 작업에서 어떤 기계학습 알고리즘이 가장 우수한 성능을 보이는가?
• RQ4 서비스 계획과 실제 이용 패턴 간 괴리도를 반영하는 파생 특징은 예측 정확도를 향상시킬 수 있는가?
• RQ5 최근 행동 패턴의 기여도는 이탈 예측에서 어느 정도인가?

주요 결과

• 평가된 모델들 중 RandomForest 및 SimpleCart 분류기가 가장 경쟁력 있는 예측 성능을 보였다.
• 이탈의 상위 15개 주요 요인으로는 최근 2개월 간의 다운로드 및 업로드 용량, 최근 3개월 평균 업로드 및 다운로드 속도 등의 서비스 이용 지표가 포함되었다.
• 지불 관련 요소는 임박한 이탈을 예측하는 데 가장 유용한 특징 중 하나였다.
• 서비스 계획과 실제 이용 패턴 간 괴리도를 반영하는 특징은 고객 이탈을 강력하게 예측하는 데 높은 예측력을 보였다.
• 제안된 특징 공학 전략은 근래의 이탈 행동을 합리적인 정밀도로 예측하는 데 성공하였다.
• 본 연구는 동적 이용 및 청구 행동이 고객 유지를 위한 전략 수립에 강력한 신호임을 확인하였다.