[논문 리뷰] Customers Churn Prediction in Financial Institution Using Artificial Neural Network

Kamorudeen A. Amuda, Adesesan B. Adeyemo|arXiv (Cornell University)|2019. 12. 23.

Customer churn and segmentation인용 수 13

한 줄 요약

이 연구는 나이지리아 금융기관의 고객 이탈을 예측하기 위해 수작업 특성 공학을 제거한 다층 퍼셉트론(Multi-layer Perceptron, MLP) 신경망을 제안한다. 파이썬을 사용해 50,000건의 고객 데이터로 훈련한 모델는 드롭아웃과 L2 정규화를 적용하여 97.53%의 정확도와 AUC 0.89를 기록했으며, 기존의 전통적 기계학습 모델을 능가하고 상용 소프트웨어 성능과도 유사한 결과를 보였다.

ABSTRACT

In this study, a predictive model using Multi-layer Perceptron of Artificial Neural Network architecture was developed to predict customer churn in a financial institution. Previous researches have used supervised machine learning classifiers such as Logistic Regression, Decision Tree, Support Vector Machine, K-Nearest Neighbors, and Random Forest. These classifiers require human effort to perform feature engineering which leads to over-specified and incomplete feature selection. Therefore, this research developed a model to eliminate manual feature engineering in data preprocessing stage. Fifty thousand customers? data were extracted from the database of one of the leading financial institution in Nigeria for the study. The multi-layer perceptron model was built with python programming language and used two overfitting techniques (Dropout and L2 regularization). The implementation done in python was compared with another model in Neuro solution infinity software. The results showed that the Artificial Neural Network software development (Python) had comparable performance with that obtained from the Neuro Solution Infinity software. The accuracy rates are 97.53% and 97.4% while ROC (Receiver Operating Characteristic) curve graphs are 0.89 and 0.85 respectively.

연구 동기 및 목표

• 금융기관에서 수작업 특성 공학을 최소화하는 자동화된 고객 이탈 예측 모델을 개발하는 것.
• 기존의 전통적 지도 학습 기반 기계학습 분류기와 비교하여 다층 퍼셉트론(MLP) 신경망의 성능을 평가하는 것.
• 동일한 데이터셋과 평가 기준을 사용해 파이썬 기반의 인공신경망 구현과 상용 소프트웨어인 NeuroSolutions Infinity의 성능을 비교하는 것.
• 과적합 방지 기법인 드롭아웃과 L2 정규화가 모델 일반화에 미치는 영향을 평가하는 것.
• 실제 금융 데이터셋에서 높은 정확도를 달성하는 딥러닝 기법의 실현 가능성을 입증하는 것.

제안 방법

• 파이썬의 Keras 및 텐서플로우 라이브러리를 사용해 다층 퍼셉트론(MLP) 신경망 아키텍처를 구현하였다.
• 과적합 완화를 위한 두 가지 기법을 사용하였다: 드롭아웃(노드 드롭아웃 비율)과 L2 정규화(가중치 감쇠).
• 데이터셋은 나이지리아 금융기관의 50,000건의 고객 기록으로 구성되었으며, 수작업 특성 공학 없이 사전 처리되었다.
• 모델 훈련은 다중 분류 교차 엔트로피 손실과 소프트맥스 출력층을 사용한 확률적 경사 하강법으로 수행되었다.
• 정확도, ROC-AUC, 혼동 행렬 등의 지표를 사용해 성능을 평가하였다.
• 동일한 데이터셋과 평가 기준을 사용해 모델을 NeuroSolutions Infinity 소프트웨어 구현과 비교하였다.

실험 결과

연구 질문

• RQ1 수작업 특성 공학 없이도 인공신경망 모델이 기존의 전통적 지도 학습 모델보다 더 높은 이탈 예측 정확도를 달성할 수 있는가?
• RQ2 드롭아웃과 L2 정규화는 고객 이탈 예측 작업에서 과적합을 방지하는 데 얼마나 효과적인가?
• RQ3 파이썬 기반 딥러닝 구현은 상용 소프트웨어(NeuroSolutions Infinity) 대비 이탈 예측 성능에서 뛰어나거나 유사한가?
• RQ4 MLP에서의 자동 특성 학습은 금융 고객 데이터의 도메인 특화된 특성 공학이 필요한 정도를 얼마나 줄일 수 있는가?
• RQ5 실제 금융 이탈 예측 시나리오에서 모델 복잡도와 일반화 능력 사이의 최적의 균형은 무엇인가?

주요 결과

• 파이썬 기반의 MLP 모델은 테스트 정확도 97.53%를 기록하여 금융 고객 이탈 데이터셋에서 높은 예측 성능를 입증하였다.
• 모델의 ROC-AUC 점수는 0.89로, 이탈 고객와 비이탈 고객을 강력하게 구분할 수 있는 능력을 보였다.
• NeuroSolutions Infinity 구현은 97.4%의 정확도와 AUC 0.85를 기록하여 파이썬 기반 모델과 유사한 성능을 보였다.
• 드롭아웃과 L2 정규화의 적용은 과적합을 크게 감소시켜 미리 보지 않은 데이터에 대한 모델 일반화 능력을 향상시켰다.
• 딥 뉴럴 네트워크의 자동 특성 학습 기법이 이탈 예측 작업에서 수작업 특성 공학을 효과적으로 대체할 수 있음을 확인하였다.
• 결과적으로 딥러닝 모델, 특히 MLP는 기존의 기계학습 분류기 대비 실용적이고 효과적인 대안임을 시사한다.