[논문 리뷰] Deep Learning vs. Gradient Boosting: Benchmarking state-of-the-art machine learning algorithms for credit scoring

Marc Schmitt|arXiv (Cornell University)|2022. 05. 21.

Financial Distress and Bankruptcy Prediction인용 수 21

한 줄 요약

그래디언트 부스팅 기계(GBM)는 다수의 데이터셋에 걸쳐 신용평가에서 일반적으로 딥러닝(DL)을 능가하며, 학습 시간이 더 빠르다; DL이 보편적으로 열등하다고 보긴 어렵지만, 구조화된 신용평가 작업에서는 보통 GBM이 선호되는 선택이다.

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) have become vital to remain competitive for financial services companies around the globe. The two models currently competing for the pole position in credit risk management are deep learning (DL) and gradient boosting machines (GBM). This paper benchmarked those two algorithms in the context of credit scoring using three distinct datasets with different features to account for the reality that model choice/power is often dependent on the underlying characteristics of the dataset. The experiment has shown that GBM tends to be more powerful than DL and has also the advantage of speed due to lower computational requirements. This makes GBM the winner and choice for credit scoring. However, it was also shown that the outperformance of GBM is not always guaranteed and ultimately the concrete problem scenario or dataset will determine the final model choice. Overall, based on this study both algorithms can be considered state-of-the-art for binary classification tasks on structured datasets, while GBM should be the go-to solution for most problem scenarios due to easier use, significantly faster training time, and superior accuracy.

연구 동기 및 목표

• 산업 현장에서 DL와 GBM의 신용 위험 점수화 간 비교를 촉진하기.
• 신용 평가에서 모델 선택이 데이터셋 특성과 어떻게 상호 작용하는지 평가한다.
• 구조화된 데이터에서 이진 분류를 위한 최첨단 모델에 대해 실무자들을 안내할 증거를 제공한다.

제안 방법

• 신용 평가 작업에서 두 가지 최첨단 알고리즘(DL과 GBM)을 벤치마크한다.
• 특징 특성이 다양한 세 가지 서로 다른 데이터셋을 사용하여 모델 강건성을 테스트한다.
• 예측 정확도와 계산 효율성 측면에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 구조화된 데이터셋에서 GBM이 신용 평가에 대해 DL을 능가하는가?
• RQ2 어떤 데이터셋 조건에서 DL이 신용 위험 모델링에서 GBM보다 이점을 제공하는가?
• RQ3 이 도메인에서 DL과 GBM 간의 정확도와 학습 속도 간의 트레이드오프는 어떠한가?

주요 결과

• GBM은 신용 평가에서 DL보다 더 강력한 경향이 있다.
• 자원 요구가 더 낮기 때문에 계산 속도가 더 빠른 이점을 가진다.
• GBM의 우수성이 모든 시나리오에서 보장되지는 않으며, 데이터셋 특성이 최적의 모델을 결정한다.
• 두 알고리즘 모두 구조화된 데이터에서 이진 분류를 위한 최첨단으로 간주될 수 있다.
• 대부분의 문제 시나리오에서 GBM이 더 쉬운 사용성, 훨씬 빠른 학습 시간, 우수한 정확도 때문에 기본 솔루션으로 간주되어야 한다.