[논문 리뷰] Gradient Tree Boosted Tobit Models for Default Prediction

Fabio Sigrist, Christoph Hirnschall|arXiv (Cornell University)|2017. 11. 23.

Financial Distress and Bankruptcy Prediction인용 수 3

한 줄 요약

이 논문은 보조 데이터를 활용하여 균형이 깨진 데이터셋에서의 디폴트 예측을 향상시키는 기울기 트리 부스팅 토비트 모델인 Grabit 모델을 제안한다. 스위스 소기업 대출 데이터에 적용한 결과, Grabit는 균형이 깨진 상황에서도 최신 기술보다 예측 정확도에서 뚜렷이 뛰어나다.

ABSTRACT

A frequent problem in binary classification is class imbalance between a minority and a majority class such as defaults and non-defaults in default prediction. In this article, we introduce a novel binary classification model, the Grabit model, which is obtained by applying gradient tree boosting to the Tobit model. We show how this model can leverage auxiliary data to obtain increased predictive accuracy for imbalanced data. We apply the Grabit model to predicting defaults on loans made to Swiss small and medium-sized enterprises (SME) and obtain a large and significant improvement in predictive performance compared to other state-of-the-art approaches.

연구 동기 및 목표

• 디폴트 예측에서의 클래스 불균형 문제, 특히 드문 디폴트 사례를 포함한 금융 데이터셋에서의 과제를 해결하기 위해.
• 토비트 모델을 기울기 트리 부스팅과 통합하여 균형이 깨진 데이터에서 성능을 향상시킬 수 있는 새로운 이진 분류 모델을 개발하기 위해.
• 보조 데이터가 소기업 대출의 디폴트 리스크 모델링에서 예측 정확도를 향상시키는 데 어떻게 기여하는지 탐색하기 위해.
• 실제 소기업 신용 데이터셋에서 기존 최신 기술 대비 제안된 Grabit 모델을 평가하기 위해.

제안 방법

• Grabit 모델은 균형이 깨진 데이터에서의 디폴트 결과의 캐싱된 성격을 다루기 위해 토비트 모델에 기울기 트리 부스팅을 적용한다.
• 이 방법은 토비트 가능성 기반의 손실 함수를 반복적으로 최소화함으로써 예측 성능을 향상시키는 앙상블 학습 기반의 부스팅 기법을 사용한다.
• 기본 디폴트 지표 외의 추가 정보인 보조 데이터는 모델의 일반화 능력과 예측 성능 향상에 통합된다.
• 모델는 결정 트리 기반 기울기 부스팅을 통해 훈련되며, 각 트리는 이전 앙상블의 잔차를 보완함으로써 예측이 어려운 케이스에 집중한다.
• 이 방법은 디폴트 대비 비디폴트의 강한 클래스 불균형이 존재하는 이진 분류 작업에 특별히 최적화되어 있다.
• 최종 모델은 균형이 깨진 상황에서 표준 이진 분류기보다 더 정확하고 강력한 디폴트 확률 예측을 출력한다.

실험 결과

연구 질문

• RQ1 기울기 트리 부스팅은 클래스 불균형이 있는 디폴트 예측 작업에서 토비트 모델의 예측 성능을 향상시킬 수 있는가?
• RQ2 보조 데이터의 통합은 Grabit 모델의 디폴트 예측 정확도에 어떤 영향을 미치는가?
• RQ3 Grabit 모델은 스위스 소기업의 디폴트 예측에서 기존 최신 기술보다 뛰어나게 성능을 발휘하는가?
• RQ4 토비트 프레임워크가 캐싱된 결과를 처리하는 방식이 균형이 깨진 디폴트 데이터셋에서 예측 성능을 얼마나 향상시키는가?

주요 결과

• Grabit 모델은 스위스 소기업 대출 데이터에서 다른 최신 기술 대비 뚜렷하고 통계적으로 유의미한 예측 성능 향상을 달성한다.
• 보조 데이터의 통합은 정확도 향상에 기여하며, 모델이 추가 정보를 효과적으로 활용할 수 있음을 입증한다.
• 특히 드문 디폴트 사례를 포착하는 데 있어 표준 이진 분류기보다 모델이 클래스 불균형을 더 잘 다룬다.
• 토비트 모델에 기울기 트리 부스팅을 적용함으로써 예측 오차가 감소하고 균형이 깨진 디폴트 시나리오에서 캘리브레이션 성능이 향상된다.
• 결과적으로 토비트 프레임워크는 부스팅으로 강화될 경우, 결과가 캐싱되거나 제한되는 재무 디폴트 예측에 매우 적합하다는 것이 확인된다.
• Grabit 모델은 실세계 소기업 신용 리스크 평가에서 강력한 내구성과 일반화 능력을 보이며 기준 모델을 초월한다.