[논문 리뷰] Credit card score prediction using machine learning models: A new dataset

Anas Arram, Masri Ayob외 3명|arXiv (Cornell University)|2023. 10. 04.

Financial Distress and Bankruptcy Prediction인용 수 4

한 줄 요약

이 연구는 미국 은행에서 수집한 새로운 신용카드 승인 데이터셋을 소개하고, 회귀 분석, XGBoost, LightGBM, 결정 트리, 랜덤 포레스트, 다층 퍼셉트론(MLP) 등의 다양한 기계학습 모델을 활용해 연체 예측을 평가한다. MLP 모델은 가장 높은 재현율(80%)과 AUC(86.7%)를 기록하여 연체 예측에서 거짓 음성(false negative)을 최소화하는 데 가장 뛰어난 성능을 보였다.

ABSTRACT

The use of credit cards has recently increased, creating an essential need for credit card assessment methods to minimize potential risks. This study investigates the utilization of machine learning (ML) models for credit card default prediction system. The main goal here is to investigate the best-performing ML model for new proposed credit card scoring dataset. This new dataset includes credit card transaction histories and customer profiles, is proposed and tested using a variety of machine learning algorithms, including logistic regression, decision trees, random forests, multi-layer perceptron (MLP) neural network, XGBoost, and LightGBM. To prepare the data for machine learning models, we perform data pre-processing, feature extraction, feature selection, and data balancing techniques. Experimental results demonstrate that MLP outperforms logistic regression, decision trees, random forests, LightGBM, and XGBoost in terms of predictive performance in true positive rate, achieving an impressive area under the curve (AUC) of 86.7% and an accuracy rate of 91.6%, with a recall rate exceeding 80%. These results indicate the superiority of MLP in predicting the default customers and assessing the potential risks. Furthermore, they help banks and other financial institutions in predicting loan defaults at an earlier stage.

연구 동기 및 목표

• 신용카드 연체 예측을 향상시키기 위해 거래 이력과 고객 프로필을 통합한 새로운 종합적인 신용카드 승인 데이터셋을 개발하기.
• 거짓 음성 수를 최소화하기 위해 높은 재현율을 확보하는 데 초점을 맞춘 다양한 기계학습 모델의 성능 평가하기.
• 결측치, 외곽치, 클래스 불균형 등의 데이터 품질 문제를 체계적인 전처리 기법을 통해 해결하기.
• 재현율을 다른 지표보다 우선시하는 조건에서, 조기 연체 고객을 탐지하는 데 최적의 기계학습 모델을 식별하기.
• 금융기관이 신용 리스크를 평가하고 대출 연체 노출을 줄이기 위해 강력하고 데이터 기반의 도구를 제공하기.

제안 방법

• 미국 은행에서 수집한 새로운 신용카드 승인 데이터셋을 정제하여, 거래 이력과 고객 인구통계 정보를 통합하기.
• 특성 추출, 결측치 처리를 위한 보간법, IQR 기반 외곽치 처리, 클래스 불균형 보정을 위한 SMOTE 등의 데이터 전처리 기법 적용.
• 로지스틱 회귀, 결정 트리, 랜덤 포레스트, 다층 퍼셉트론 신경망, XGBoost, LightGBM 등 6종의 기계학습 모델을 훈련 및 평가.
• 정확도, AUC, 정밀도, 재현율 등의 표준 평가 지표를 사용하였으며, 주요 성능 기준으로 재현율을 중시.
• 모델 성능을 비교하기 위해 ROC 곡선을 시각화하여 각 모델 간의 분류 능력 분석.
• 재현율과 AUC 기준으로 최고 성능을 보인 모델을 선정하였으며, 정밀도-재현율 트레이드오프에 대한 추가 분석 수행.

Figure 1: Feed forward neural network structure [ 32 ]

실험 결과

연구 질문

• RQ1 제안된 새로운 데이터셋에서 어떤 기계학습 모델이 연체 예측 시 가장 높은 재현율을 기록하는가?
• RQ2 SMOTE 및 외곽치 처리와 같은 다양한 전처리 기법은 신용 승인 모델의 성능에 어떤 영향을 미치는가?
• RQ3 기존 모델(예: 로지스틱 회귀)과 고급 모델(예: MLP, LightGBM) 간의 비교 성능는 신용 연체 예측에서 어떻게 다를까?
• RQ4 재현율을 우선시할 경우, 딥러닝 모델인 MLP가 트리 기반 모델보다 진짜 연체자 사례를 더 잘 식별할 수 있는가?
• RQ5 AUC, 정확도, 정밀도, 재현율 등의 주요 지표에서 모델 성능는 어떻게 변화하며, 실제 신용 리스크 평가에 가장 적합한 균형을 이루는 모델은 무엇인가?

주요 결과

• MLP 분류기가 모든 모델 중에서 가장 높은 재현율(80%)을 기록하여 진짜 연체자 고객을 식별하는 데 가장 효과적인 것으로 나타났다.
• MLP 모델은 AUC 86.7%를 기록하여 연체자와 비연체자 간의 강한 분류 능력을 보였다.
• LightGBM는 가장 높은 정확도(94.44%)와 AUC(84.19%)를 기록했지만, MLP에 비해 낮은 재현율(70%)을 보였다.
• 랜덤 포레스트는 높은 정확도(93.06%)를 기록했지만, 낮은 재현율(75%)과 정밀도(75%)를 보이며 모든 양성 사례를 식별하는 데에 약점이 있었다.
• 로지스틱 회귀와 결정 트리 분류기는 각각 재현율 70%와 AUC 점수 저하로 인해 성능이 열등했다.
• ROC 곡선 분석을 통해 MLP와 랜덤 포레스트가 상단 왼쪽 모서리에 가장 가까운 곡선을 보이며, 전반적인 분류 능력에서 뛰어난 성능을 보였음을 확인했다.

Figure 2: The distribution of class labels