[논문 리뷰] Deep Learning in Customer Churn Prediction: Unsupervised Feature Learning on Abstract Company Independent Feature Vectors

Philip Spanoudes, Thomson Nguyen|arXiv (Cornell University)|2017. 03. 10.

Customer churn and segmentation참고 문헌 18인용 수 38

한 줄 요약

이 논문은 사용자 이벤트 로그에서 파생된 추상적이고 기업에 종속되지 않는 특징 벡터를 기반으로 비지도 학습을 활용한 딥러닝 파이프라인을 제안한다. ReLU 활성화 함수, 드롭아웃, 모멘타임을 활용한 딥 퍼셉트론 네트워크를 통해 기존 Framed의 랜덤 포레스트 방법보다 뛰어난 예측 정확도를 달성하면서도, 다양한 구독 기반 기업에서 수작업 특징 공학의 필요성을 제거한다.

ABSTRACT

As companies increase their efforts in retaining customers, being able to predict accurately ahead of time, whether a customer will churn in the foreseeable future is an extremely powerful tool for any marketing team. The paper describes in depth the application of Deep Learning in the problem of churn prediction. Using abstract feature vectors, that can generated on any subscription based company's user event logs, the paper proves that through the use of the intrinsic property of Deep Neural Networks (learning secondary features in an unsupervised manner), the complete pipeline can be applied to any subscription based company with extremely good churn predictive performance. Furthermore the research documented in the paper was performed for Framed Data (a company that sells churn prediction as a service for other companies) in conjunction with the Data Science Institute at Lancaster University, UK. This paper is the intellectual property of Framed Data.

연구 동기 및 목표

• 수작업 기반의 기업 특화 특징 공학 없이도 어떤 구독 기반 기업에도 적용 가능한 일반화 가능한 기계학습 파이프라인을 개발하는 것.
• 딥 네ural 네트워크가 원시 사용자 이벤트 로그에서 수동 특징 공학 없이도 의미 있는 추상적 특징을 비지도 방식으로 학습할 수 있는지 조사하는 것.
• Framed Data의 기존 랜덤 포레스트 파이프라인을 딥러닝 아키텍처로 대체하여 수작업 특징 공학 의존도를 줄이면서도 예측 정확도를 유지하거나 향상시키는 것.
• 특히 이전 방법이 성능을 저하시킬 수 있는 낮은 이탈률 상황에서 딥러닝 접근법의 강건성을 평가하는 것.
• 스파크와 HDFS를 활용해 확장 가능한 데이터 표현 및 딥러닝 파이프라인을 구현하여 대규모 이벤트 데이터 환경에서의 실질적 구현 가능성을 검증하는 것.

제안 방법

• 사용자 이벤트 로그에서 유도된 추상적이고 기업에 종속되지 않는 특징 벡터를 사용하여 도메인 특화 공학 없이도 시간적 및 행동 패턴을 포괄한다.
• 백프로파게이션을 통해 비지도 방식으로 입력 데이터의 계층적이고 추상적인 표현을 학습하기 위해 ReLU 활성화 함수를 사용한 딥 퍼셉트론 신경망을 적용한다.
• 일반화 성능 향상과 과적합 방지를 위해 L1 및 L2 가중치 감쇠, 드롭아웃(0.5 드롭아웃 비율) 등의 정규화 기법을 적용한다.
• 백프로파게이션 알고리즘은 수렴 속도를 높이고 학습 동역학을 안정화시키기 위해 모멘타임(0.9)을 사용한다.
• 대규모 고차원 이벤트 데이터를 효율적으로 처리하기 위해 스파크와 HDFS를 활용한 분산 컴퓨팅 스택을 기반으로 파이프라인을 구현한다.
• 기존 랜덤 포레스트 모델과 동일한 지표와 시간 분할 기준으로 성능을 평가하여 직접 비교 가능하도록 한다.

실험 결과

연구 질문

• RQ1 딥 퍼셉트론 신경망이 수작업 특징 공학 없이도 원시 이벤트 로그에서 효과적이고 추상적인 사용자 행동 표현을 학습할 수 있는가? 이는 이탈 예측 정확도 향상으로 이어지는가?
• RQ2 제안된 딥러닝 아키텍처의 성능은 Framed Data가 기존에 사용하는 랜덤 포레스트 모델과 비교해 예측 정확도와 일반화 능력 측면에서 어떻게 다른가?
• RQ3 낮은 이탈률이 관찰되는 월에 적용했을 때 딥러닝 파이프라인이 강건한가? 이는 클래스 불균형이 모델 성능에 영향을 미칠 수 있음을 고려할 때 중요하다.
• RQ4 최신 딥러닝 기법들—예를 들어 드롭아웃, ReLU, 모멘타임—은 이탈 예측 작업에서 모델의 안정성과 예측 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 데이터 표현 및 딥러닝 파이프라인은 최소한의 재구성으로 다양한 구독 기반 기업에 일반화 가능한가?

주요 결과

• 제안된 딥러닝 아키텍처는 동일한 시간 분할 및 지표 기준으로 평가했을 때 기존 랜덤 포레스트 모델보다 더 높은 예측 정확도를 달성했다.
• ReLU 활성화, 드롭아웃(0.5), 모멘타임을 활용한 백프로파게이션은 모델의 일반화 능력을 크게 향상시키고 다양한 학습 분할 간 분산을 줄였다.
• 딥 네트워크가 다수의 은닉층을 통해 추상적이고 계층적인 특징을 학습함으로써 이탈자와 비이탈자 간의 구분 능력을 향상시켰다.
• 은닉층의 수가 증가할수록 모델 성능이 향상됨을 확인하여 더 깊은 아키텍처가 사용자 데이터의 복잡한 행동 패턴을 더 잘 포착할 수 있음을 시사했다.
• 전반적으로 뛰어난 성능를 보였지만, 데이터셋 균형 기법의 영향으로 낮은 이탈률 월에서는 성능 저하가 발생하여 클래스 불균형에 민감함을 보였다.
• 스파크와 HDFS의 구현을 통해 확장 가능한 데이터 표현 생성이 가능했으며, 실세계 대규모 환경에서 파이프라인을 구현하는 데의 실현 가능성을 입증했다.