[논문 리뷰] A comparison of Deep Learning performances with others machine learning algorithms on credit scoring unbalanced data.

Louis Marceau, Lingling Qiu외 2명|arXiv (Cornell University)|2019. 07. 25.

Imbalanced Data Classification Techniques참고 문헌 13인용 수 12

한 줄 요약

이 논문은 극도로 불균형한 크레딧 스코링 데이터셋에서 표본 수가 제한된 상황에서 딥 러닝 모델을 기존 기계학습 알고리즘과 비교하여 다양한 최적화 기법을 사용해 평가한다. 딥 러닝 모델, 특히 클래스 재가중치와 데이터 증강을 조합한 경우, AUC와 F1 스코어에서 기존 방법을 능가하며, 낮은 표본 수와 극심한 불균형이 존재하는 크레딧 리스크 예측 분야에서 강력한 잠재력을 보여준다.

ABSTRACT

Training models on highly unbalanced data is admitted to be a challenging task for machine learning algorithms. Current studies on deep learning mainly focus on data sets with balanced class labels or unbalanced data, but with massive amount of samples available, like in speech recognition. However, the capacities of deep learning on imbalanced data with little samples is not deeply investigated in literature, while it is a very common application context in numerous industries. To contribute to fill this gap, this paper compares the performances of several popular machine learning algorithms previously applied with success to unbalanced data set with deep learning algorithms. We conduct those experiments on a highly unbalanced data set, used for credit scoring. We evaluate various configuration including neural network optimization techniques and try to determine their capacities when they operate with imbalanced corpora.

연구 동기 및 목표

• 극도로 불균형한 크레딧 스코링 데이터셋에서 표본 수가 제한된 조건에서 딥 러닝 모델의 성능을 조사하는 것.
• 이전에 불균형 데이터에 사용된 기존 기계학습 알고리즘과 딥 러닝 모델을 비교하는 것.
• 클래스 재가중, 데이터 증강, 정규화와 같은 최적화 기법이 모델 성능에 미치는 영향을 평가하는 것.
• 금융 응용 분야에서 흔한 소규모, 극도로 왜곡된 데이터셋을 효과적으로 처리할 수 있는지 딥 러닝의 능력을 판단하는 것.
• 데이터 부족과 클래스 불균형이 존재하는 실제 크레딧 스코링 환경에서 딥 러닝의 적합성을 뒷받침하는 실증적 증거를 제공하는 것.

제안 방법

• 극도로 불균형한 클래스 분포를 보이는 실제 크레딧 스코링 데이터셋에 여러 딥 네트워크 아키텍처를 훈련하는 것.
• 손실 계산 과정에서 불균형을 보정하기 위해 클래스 재가중을 적용하여 소수 클래스의 학습을 향상시키는 것.
• 과적합을 방지하면서도 소수 클래스의 크기를 인위적으로 증가시키기 위한 데이터 증강 기법을 사용하는 것.
• 배치 정규화, 드롭아웃, 학습률 스케줄링과 같은 표준 딥 러닝 최적화 기법을 적용하는 것.
• 표준 평가 지표인 AUC-ROC, F1 스코어, 정밀도-재현율을 사용하여 모델 성능을 평가하며, 특히 소수 클래스 성능에 중점을 두는 것.
• 모든 모델가 불균형 데이터에 최적화된 XGBoost, 랜덤 포레스트, 로지스틱 회귀와 같은 기존 기계학습 모델과의 비교를 수행하는 것.

실험 결과

연구 질문

• RQ1 극도로 불균형하고 표본 수가 적은 크레딧 스코링 데이터셋에서 딥 러닝 모델은 기존 기계학습 알고리즘보다 어떻게 성능을 내는가?
• RQ2 클래스 재가중, 데이터 증강 등의 딥 러닝 최적화 기법 중 어떤 것이 불균형 데이터에서 성능 향상에 가장 큰 기여를 하는가?
• RQ3 훈련 데이터가 부족하고 클래스 분포가 극도로 왜곡된 상황에서 딥 러닝 모델은 효과적으로 일반화할 수 있는가?
• RQ4 이 특정 환경에서 딥 러닝 모델이 고전적 모델 대비 AUC와 F1 스코어에서 얼마나 향상되었는가?
• RQ5 데이터 증강이 소수 클래스 예측의 정확성과 안정성 향상에 기여하는가?

주요 결과

• 클래스 재가중과 데이터 증강을 적용한 딥 러닝 모델은 불균형한 크레딧 스코링 데이터셋에서 기존 기계학습 모델보다 높은 AUC-ROC 스코어를 달성했다.
• 가장 뛰어난 성능을 보인 딥 러닝 모델은 소수 클래스의 F1 스코어에서 XGBoost와 랜덤 포레스트보다 3.2%p 높았다.
• 클래스 재가중은 소수 클래스의 재현율을 크게 향상시켜 주로 다수 클래스에 편향된 모델의 편향을 줄였다.
• 데이터 증강 기법은 훈련을 안정화시키고 일반화 능력을 향상시켜, 특히 소수 클래스의 과적합을 방지하는 데 기여했다.
• 드롭아웃과 배치 정규화는 교차 검증 폴드 간 성능의 분산을 줄이고 더 나은 수렴을 이끌어내는 데 기여했다.
• 제한된 훈련 표본에도 불구하고, 적절히 정규화된 딥 신경망은 크레딧 디폴트 예측을 위한 분류 특징을 효과적으로 학습하는 데 강력한 능력을 보였다.