[논문 리뷰] Sequential Deep Learning for Credit Risk Monitoring with Tabular Financial Data

Jillian M. Clements, Di Xu외 2명|arXiv (Cornell University)|2020. 12. 30.

Financial Distress and Bankruptcy Prediction참고 문헌 25인용 수 11

한 줄 요약

이 논문은 타블라르 금융 데이터에서 신용 리스크 모니터링을 향상시키기 위해 시간적 컬러션 네트워크(TCNs)를 사용하는 순차적 딥러닝 접근법을 제안한다. 새로운 특징 없이 1년 치 이전 거래 시계열을 활용하여, 기존의 그래디언트 부스팅 결정수형(GBDT) 모델을 능가하는 성능을 보이며 연간 수천만 달러의 금융 손실을 줄이고, 온라인 학습 환경에서 실시간으로 리스크를 조기에 탐지할 수 있다.

ABSTRACT

Machine learning plays an essential role in preventing financial losses in the banking industry. Perhaps the most pertinent prediction task that can result in billions of dollars in losses each year is the assessment of credit risk (i.e., the risk of default on debt). Today, much of the gains from machine learning to predict credit risk are driven by gradient boosted decision tree models. However, these gains begin to plateau without the addition of expensive new data sources or highly engineered features. In this paper, we present our attempts to create a novel approach to assessing credit risk using deep learning that does not rely on new model inputs. We propose a new credit card transaction sampling technique to use with deep recurrent and causal convolution-based neural networks that exploits long historical sequences of financial data without costly resource requirements. We show that our sequential deep learning approach using a temporal convolutional network outperformed the benchmark non-sequential tree-based model, achieving significant financial savings and earlier detection of credit risk. We also demonstrate the potential for our approach to be used in a production environment, where our sampling technique allows for sequences to be stored efficiently in memory and used for fast online learning and inference.

연구 동기 및 목표

• 기존의 그래디언트 부스팅 결정수형(GBDT) 모델이 장기적인 시간 패턴을 모델링하지 못하고 온라인 학습을 지원하지 못하는 등의 한계를 해결하기 위해.
• 특히 새로운 데이터 소스나 특징 공학 없이도 타블라르 금융 데이터에 대해 순차적 딥러닝 모델(RNN 및 TCN 등)의 잠재력을 탐색하기 위해.
• 1년 치 이전 데이터에서 유의미한 거래 시계열을 생성하는 확장성 있고 메모리 효율적인 샘플링 방법을 개발하기 위해.
• 오프라인 및 온라인 학습 환경에서 순차적 딥러닝 모델의 성능을 평가하고, 실시간 적용이 가능한 생산 환경에서의 타당성을 중점적으로 다루기 위해.
• 기존의 GBDT 기반 시스템에 비해 더 뛰어난 재정적 이익과 조기 리스크 탐지 능력을 보여주기 위해.

제안 방법

• 1년 치 신용카드 거래 데이터에서 고정 길이의 시계열을 생성하기 위한 새로운 트랜잭션 샘플링 기법을 개발하여, 장기적인 행동 패턴을 효율적으로 모델링하면서도 메모리 및 계산 오버헤드를 줄였다.
• 시간적 컬러션 네트워크(TCNs)를 사용해 순차적 타블라르 데이터를 처리하였으며, 확장된 컨볼루션을 활용해 RNN의 기울기 소실 문제 없이 장거리 의존성을 포착하였다.
• 모델은 12개월 분량의 거래 시계열 데이터를 입력으로 받아, 각 시계열은 카드 회원의 금융 이력을 나타내며, 향후 1.5년 이내의 부도 발생 확률을 예측한다.
• 입력되는 월간 데이터를 점진적으로 이용해 모델 가중치를 업데이트함으로써 온라인 학습을 구현하였으며, 경제 상황과 소비자 행동의 변화에 적응할 수 있도록 하였다.
• 정의성 및 개인정보 보호 준수를 위해 개인의 인적 정보에 의존하지 않으며, 오직 거래 및 계좌 관련 특징만을 사용하였다.
• 성능 평가에는 Gini, AUC, 리콜 등의 표준 지표를 사용하였으며, 벤치마크 GBDT 모델과의 비교를 통해 성능을 분석하였다.

실험 결과

연구 질문

• RQ1 기존의 타블라르 금융 데이터만을 사용하는 경우, TCN과 같은 순차적 딥러닝 모델이 비순차적 트리 기반 모델보다 신용 리스크 모니터링에서 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 샘플링 기법은 계산 및 메모리 비용을 줄이면서도 장기적인 금융 행동을 효과적으로 모델링할 수 있는가?
• RQ3 GBDT 벤치마크 모델에 비해 TCN 모델이 더 뛰어난 조기 리스크 탐지 능력을 보일 수 있는가?
• RQ4 생산 환경의 신용 리스크 모니터링 시스템에서 순차적 딥러닝 모델에 대해 온라인 학습이 실현 가능하고 효과적인가?
• RQ5 다양한 시계열 길이에서 모델 성능가 어떻게 달라지며, 더 긴 역사적 맥락이 예측 정확도 향상에 기여하는가?

주요 결과

• TCN 모델은 벤치마크 GBDT 모델보다 재정적 손실을 줄이는 데 뛰어난 성능을 보였으며, 연간 수천만 달러의 손실 감소를 달성하였다.
• 12개월의 봉인 윈도우에서 TCN 모델가 최고의 성능을 보였으며, 시계열 길이가 증가함에 따라 Gini와 리콜이 선형적으로 향상되었다.
• 모든 시계열 길이에서 LSTM보다 TCN 모델가 뛰어난 성능를 보였으며, 확장된 컨볼루션의 효과가 금융 시계열의 장기 패턴을 효과적으로 포착함을 입증하였다.
• 점진적인 가중치 업데이트를 통한 온라인 학습은 무작위 초기화보다 모델 성능을 크게 향상시켰으며, 재학습 없이도 새로운 데이터에 적응할 수 있도록 하였다.
• TCN의 학습 시간은 V100 GPU에서 미니배치당 약 30ms였고, 추론 시간은 1ms 이내였으며, 이는 실시간 생산 환경에 적합함을 의미한다.
• 샘플링된 시계열에서도 높은 성능를 유지함으로써, 대표성 있는 샘플링이 노이즈와 계산 비용을 줄이면서도 예측 능력을 손상시키지 않음을 입증하였다.