[논문 리뷰] DeRisk: An Effective Deep Learning Framework for Credit Risk Prediction over Real-World Financial Data

Yancheng Liang, Jiajie Zhang외 7명|arXiv (Cornell University)|2023. 08. 07.

Financial Distress and Bankruptcy Prediction인용 수 4

한 줄 요약

DeRisk는 실세계 금융 데이터에서 전통적인 통계 모델을 능가하는 새로운 딥러닝 프레임워크로, 데이터 전처리 및 특성 선택, 데이터 증강, 비순차적 및 순차적 모델의 별도 학습, 그리고 공동 미세조정을 포함하는 삼단계 파이프라인을 사용한다. 가중치 BCE 손실, 오버샘플링, MLM 사전학습과 같은 기법을 통해 최신 기술 수준의 성능을 달성하며, 산업 금융 응용 분야에서 딥러닝 성공을 위해 철저한 공학적 설계와 최적화가 필수적임을 입증한다.

ABSTRACT

Despite the tremendous advances achieved over the past years by deep learning techniques, the latest risk prediction models for industrial applications still rely on highly handtuned stage-wised statistical learning tools, such as gradient boosting and random forest methods. Different from images or languages, real-world financial data are high-dimensional, sparse, noisy and extremely imbalanced, which makes deep neural network models particularly challenging to train and fragile in practice. In this work, we propose DeRisk, an effective deep learning risk prediction framework for credit risk prediction on real-world financial data. DeRisk is the first deep risk prediction model that outperforms statistical learning approaches deployed in our company's production system. We also perform extensive ablation studies on our method to present the most critical factors for the empirical success of DeRisk.

연구 동기 및 목표

• 고차원적이고 흐린, 노이즈가 많고 불균형한 실세계 금융 데이터에서 강건한 딥 네URAL 네트워크를 훈련시키는 도전 과제를 해결하기 위해.
• 산업 규모의 금융 데이터에서 기존의 통계 모델(예: XGBoost, 랜덤 포레스트)을 능가하는 성능을 보이는 딥러닝 프레임워크를 개발하기 위해.
• 실제 성공에 기여하는 핵심 기술적 구성 요소를 광범위한 추상화 연구를 통해 규명하고 검증하기 위해.
• 데이터 품질이 낮고 클래스 불균형이 극심한 실세계 금융 응용 분야에서 딥러닝을 구현하기 위한 실용적이고 실행 가능한 통찰을 제공하기 위해.

제안 방법

• 프레임워크는 삼단계 파이프라인을 활용한다: 특성 선택 및 딥러닝 전용 데이터 증강을 포함한 데이터 전처리, 비순차적 및 순차적 모델의 별도 훈련, 다중 포맷 데이터에서의 공동 미세조정.
• 실수값 특성은 차원을 줄이면서도 예측 능력을 유지하기 위해 XGBoost를 사용해 선택되며, 최적의 성능은 500개의 특성에서 달성된다.
• 결측치(NaN)와 0에 대한 지표 특성은 상수로 대체하는 것 대신 의미 있는 패턴을 유지하기 위해 명시적으로 포함된다.
• 희귀한 양성(파산) 샘플에 더 높은 가중치를 할당함으로써 데이터 불균형 문제를 해결하기 위해 가중치 BCE 손실이 사용된다.
• 오버샘플링은 선택적으로 적용된다: 순차적 Transformer 모델의 최적화 및 성능 향상에 기여하지만, 비순차적 DNN에서는 과적합을 유발하므로 모델에 맞는 샘플링 전략이 필요하다.
• 순차적 모델에 대해 마스크된 언어 모델링(MLM) 사전학습을 적용하여 순차적 데이터 구조를 활용함으로써 최적화 및 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 실세계 금융 데이터에서 낮은 품질의 데이터를 다룰 때, 딥러닝 프레임워크가 XGBoost나 랜덤 포레스트와 같은 기존의 통계 모델을 능가할 수 있는가?
• RQ2 불균형적이고 고차원적이며 흐린 금융 데이터에서 딥러닝 성능을 높이기 위해 훈련 파이프라인의 어떤 특정 구성 요소가 가장 중요한가?
• RQ3 특성 선택, 지표 특성, 손실 가중치, 오버샘플링, 사전학습과 같은 기법들이 모델 성능과 최적화 안정성에 어떤 영향을 미치는가?
• RQ4 엔드 투 엔드 딥러닝이 실세계 금융 데이터에서 실패하는 이유는 무엇이며, 어떤 대체 훈련 전략이 더 효과적인가?

주요 결과

• DeRisk는 기업의 실세계 구현에서 생산 수준의 의사결정수형 기반 시스템을 능가하며, 기존의 통계 모델보다 높은 AUC 스코어를 달성한다.
• XGBoost를 사용한 특성 선택은 성능 향상에 크게 기여하며, 500개의 실수값 특성에서 최적의 결과를 얻는다; 100개로 줄이거나 선택을 제거하면 성능이 떨어진다.
• NaN과 0에 대한 지표 특성을 포함함으로써 단순 대체나 제거 대비 AUC가 0.0073 향상되며, 이는 결측 패턴 자체가 예측 가능성을 지닌다는 것을 보여준다.
• 가중치 BCE 손실이 테스트된 모든 손실 함수 중에서 가장 뛰어난 성능을 보이며, 표준 BCE와 Focal 손실을 모두 능가한다. 이는 불균형 설정에서 클래스 가중치의 중요성을 강조한다.
• 오버샘플링은 순차적 Transformer 모델의 최적화를 가속화하고 성능을 향상시키지만, 비순차적 DNN에서는 과적합을 유발하므로 모델에 맞는 샘플링 전략이 필요하다.
• 순차적 모델에 대해 MLM 사전학습을 적용함으로써 성능과 최적화 속도가 모두 향상되며, 이는 순차적 신용 이력 데이터에 대한 사전학습의 이점이 있음을 입증한다.