[논문 리뷰] A comparison of Deep Learning performances with other machine learning algorithms on credit scoring unbalanced data

Louis Marceau, Lingling Qiu외 2명|arXiv (Cornell University)|2019. 07. 25.

Financial Distress and Bankruptcy Prediction인용 수 8

한 줄 요약

이 연구는 표본 수가 제한되고 극도로 불균형한 신용 평가 데이터셋에서 전통적인 기계학습(예: XGBoost, 랜덤 포레스트)과 딥러닝(DNN, Auto-Keras NAS)을 비교한다. 광범위한 초파rameter 튜닝과 AutoML 최적화에도 불구하고 XGBoost가 F-score(0.5496 대 0.5399)에서 딥러닝 모델을 앞서며, Auto-Keras는 수작업으로 튜닝된 DNN나 트리 기반 모델을 초월하지 못했으며, 이는 소규모이고 불균형한 금융 데이터셋에서 NAS의 성능 향상이 제한적임을 시사한다.

ABSTRACT

Training models on highly unbalanced data is admitted to be a challenging task for machine learning algorithms. Current studies on deep learning mainly focus on data sets with balanced class labels or unbalanced data, but with massive amount of samples available, like in speech recognition. However, the capacities of deep learning on imbalanced data with little samples is not deeply investigated in literature, while it is a very common application context in numerous industries. To contribute to fill this gap, this paper compares the performances of several popular machine learning algorithms previously applied with success to unbalanced data set with deep learning algorithms. We conduct those experiments on a highly unbalanced data set, used for credit scoring. We evaluate various configuration including neural network optimization techniques and try to determine their capacities when they operate with imbalanced corpora.

연구 동기 및 목표

• 제한된 표본 수를 가진 극도로 불균형한 신용 평가 데이터에서 딥러닝 모델의 성능을 전통적인 기계학습 알고리즘과 비교 평가하는 것.
• 신경망 아키텍처 탐색(NAS)과 같은 AutoML 기법이 이 맥락에서 수작업으로 튜닝된 딥 네트워크 및 트리 기반 모델을 초월할 수 있는지 조사하는 것.
• 신용 리스크 모델링에서 전통적인 기계학습과 딥러닝 대비 AutoML 기법의 계산 비용 및 에너지 효율성을 평가하는 것.
• 불균형한 금융 데이터셋에서 고성능 분류를 위해 특징 공학 및 모델 아키텍처 설계가 여전히 핵심적인 역할을 하는지 판단하는 것.
• 트리 기반 및 딥러닝 분류기의 하이브리드 모델이 불균형한 신용 데이터에서 성능 향상에 기여할 수 있는지 탐색하는 것.

제안 방법

• 실제 카드 사용자 데이터셋을 기반으로 12개월 후의 신용 불이행 예측 작업을 수행하며, XGBoost, 랜덤 포레스트, 기울기 부스팅 등 다양한 기계학습 모델을 훈련하고 비교하였다.
• Keras를 사용해 표준 초파rameter 튜닝을 적용한 딥 네트워크(DNN)를 구현하였으며, 배치 정규화 및 ReLU 활성화 함수와 같은 기법을 적용하였다.
• 4시간의 탐색 윈도우 동안 Auto-Keras를 활용해 신경망 아키텍처와 초파라미터를 자동으로 탐색하는 신경망 아키텍처 탐색(NAS)을 적용하였다.
• 정밀도, 재현율, F-score, AUC, 런타임 등의 표준 평가 지표를 사용해 모든 구성에서 모델 성능을 비교하였다.
• 사용자 행동을 나타내기 위해 24개월간의 카드 거래 이력에서 특징을 추출하고 공학하였다.
• AutoML의 영향을 분리하기 위해 아블레이션 스터디를 수행하였으며, NAS 최적화 모델을 수작업으로 튜닝된 DNN 및 트리 기반 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 표본 수가 제한되고 극도로 불균형한 신용 평가 데이터에서 딥러닝 모델이 XGBoost나 랜덤 포레스트와 같은 전통적인 기계학습 알고리즘을 능가할 수 있는가?
• RQ2 신경망 아키텍처 탐색(NAS)을 활용한 AutoML가 수작업으로 튜닝된 DNN에 비해 불균형한 금융 데이터셋에서 딥러닝 성능을 향상시킬 수 있는가?
• RQ3 신용 리스크 모델링에서 AutoML 기법의 계산 비용 및 에너지 효율성은 전통적인 기계학습 및 딥러닝 모델 대비 어떻게 되는가?
• RQ4 불균형한 신용 평가 작업에서 특징 공학 및 모델 아키텍처 설계가 성능에 미치는 영향은 어느 정도 유지되는가?
• RQ5 트리 기반 및 딥러닝 분류기를 조합한 하이브리드 모델이 불균형한 신용 데이터에서 분류 성능 향상에 기여할 수 있는가?

주요 결과

• XGBoost는 12개월 후 불이행 예측 작업에서 F-score 0.5496을 기록하여 수작업으로 튜닝된 DNN(F-score: 0.5399) 및 Auto-Keras NAS 모델(F-score: 0.5390)을 앞섰다.
• Auto-Keras NAS 구성은 수작업으로 튜닝된 DNN 대비 정밀도(0.5146)는 향상시켰지만 재현율(0.5659)은 감소시켜, 더 긴 훈련 시간에도 불구하고 F-score는 낮아졌다.
• DNN 및 Auto-Keras 모델의 계산 비용은 XGBoost보다 유의미하게 높았으며, 런타임은 각각 450.1초, 611초였고, XGBoost는 299.8초였다.
• AutoML는 XGBoost나 수작업으로 튜닝된 DNN를 능가하는 신경망 아키텍처를 발견하지 못했으며, 이는 NAS가 최소한의 전문 지식으로 최고 수준의 성능을 자동으로 도출할 수 있다는 가정이 잘못되었음을 반증한다.
• 이 연구는 NAS의 높은 에너지 소비 및 계산 비용을 부각시키며, 신용 리스크 모델링과 같은 실생활 응용에서 비용-편익 분석이 필요하다고 제안한다.
• AutoML의 발전에도 불구하고, 소규모이고 불균형한 금융 데이터셋에서 최적의 성능을 내기 위해 특징 공학 및 모델 전용 튜닝이 여전히 필수적이다.