[논문 리뷰] Churn Prediction with Sequential Data and Deep Neural Networks. A Comparative Analysis

C. Gary Mena, Arno De Caigny외 3명|arXiv (Cornell University)|2019. 09. 24.

Customer churn and segmentation참고 문헌 16인용 수 22

한 줄 요약

이 논문은 금융 서비스 분야의 고객 이탈 예측을 위해 순차적인 Recency, Frequency, Monetary (RFM) 데이터를 모델링하기 위해 Long Short-Term Memory (LSTM) 네트워크를 사용하는 것을 제안한다. 결과적으로 LSTMs가 정적 특징을 사용하는 정규화된 로지스틱 회귀 모델보다 우수한 성능을 보이며, LSTM 예측 확률을 로지스틱 모델의 특징으로 사용했을 때 4.211의 상위 10% 리프트를 기록하고, 검증 성능이 25% 향상되었다.

ABSTRACT

Off-the-shelf machine learning algorithms for prediction such as regularized logistic regression cannot exploit the information of time-varying features without previously using an aggregation procedure of such sequential data. However, recurrent neural networks provide an alternative approach by which time-varying features can be readily used for modeling. This paper assesses the performance of neural networks for churn modeling using recency, frequency, and monetary value data from a financial services provider. Results show that RFM variables in combination with LSTM neural networks have larger top-decile lift and expected maximum profit metrics than regularized logistic regression models with commonly-used demographic variables. Moreover, we show that using the fitted probabilities from the LSTM as feature in the logistic regression increases the out-of-sample performance of the latter by 25 percent compared to a model with only static features.

연구 동기 및 목표

• 금융 서비스 분야의 이탈 모델링을 위한 순차적 RFM 데이터를 사용한 LSTM 신경망의 예측 성능 평가.
• 정적 특징에 의존하는 기존의 상용 기계학습 모델과의 비교를 통한 LSTM 기반 모델의 성능 평가.
• LSTM에 적합된 확률이 기존 모델에서 사용 가능한 순차적 RFM 데이터를 효과적으로 요약할 수 있는지 조사.
• 시간에 따라 변화하는 특징의 다양한 집계 기법이 모델 성능에 미치는 영향 평가.
• 이탈 예측 프레임워크에 순차적 행동 데이터를 최적의 전략으로 통합하는 방법 결정.

제안 방법

• 집계 없이 순차적 RFM 변수를 직접 모델링하기 위해 Long Short-Term Memory (LSTM) 순환 신경망을 사용.
• 정적 고객 인구통계, 행동 및 연락 정보를 사용한 l1-정규화 로지스틱 회귀 모델을 기준 모델로 활용.
• LSTM 모델의 검증 외 예측 확률을 생성하고 이를 로지스틱 회귀 모델의 추가 특징으로 사용.
• 정확도를 확보하기 위해 3개의 외부 폴드를 사용한 교차 검증을 통해 모델 성능 평가.
• 집계, 정규화, 지연 값 등 다양한 RFM 데이터 특징 공학 전략 비교.
• 표준 평가 지표 적용: AUC, 상위 10% 리프트, 기대 최대 수익 측정법(EMPC)을 통한 모델 비교.

실험 결과

연구 질문

• RQ1 원시 순차적 RFM 데이터를 사용한 LSTM 모델의 예측 성능는 정적 특징을 사용한 정규화된 로지스틱 회귀 모델과 비교해 어떻게 되는가?
• RQ2 LSTM 모델에 적합된 확률이 기존 기계학습 모델에서 사용 가능한 순차적 RFM 정보를 효과적으로 요약할 수 있는가?
• RQ3 로지스틱 회귀 모델에 LSTM 유도 확률을 통합하면 집계된 RFM 특징을 사용한 모델보다 검증 성능이 향상되는가?
• RQ4 정적 특징과 순차적 데이터 표현의 어떤 조합이 가장 높은 상위 10% 리프트와 EMPC를 달성하는가?
• RQ5 기존 집계 방법 대비 순차 행동을 모델링하기 위해 딥러닝을 사용할 경우 성능 향상이 뚜렷한가?

주요 결과

• LSTM 모델은 상위 10% 리프트 4.211을 기록했으며, 정적 특징만을 사용한 로지스틱 회귀 모델(리프트 3.350)보다 유의미하게 뛰어났다.
• LSTM에 의해 유도된 확률을 로지스틱 회귀 모델에 추가한 결과, 정적 특징만을 사용한 모델 대비 검증 성능이 25.7% 향상되었다.
• LSTM 확률을 통합한 로지스틱 모델은 기대 최대 수익 측정법(EMPC) 0.012를 기록했으며, 정적 특징만을 사용한 기준 모델보다 3배 높았다.
• LSTM 확률을 포함한 로지스틱 모델에 집계 또는 정규화된 지연 RFM 특징을 추가해도 성능 향상이 없었으며, 이는 LSTM 확률이 순차적 정보를 효과적으로 요약하고 있음을 시사한다.
• LSTM 모델 자체는 AUC 0.741과 상위 10% 리프트 4.101을 기록했으며, 모든 지표에서 최고 성능를 내지는 않았지만 강력한 성능를 보였다.
• 교차 검증 폴드의 리프트 곡선은 LSTM 모델과 LSTM 확률을 포함한 로지스틱 모델이 다른 구성보다 상위 10%에서 일관되게 뛰어난 성능를 보였음을 확인했다.