[논문 리뷰] Enabling Machine Learning Algorithms for Credit Scoring -- Explainable Artificial Intelligence (XAI) methods for clear understanding complex predictive models

Przemysław Biecek, Marcin Chlebuś외 6명|arXiv (Cornell University)|2021. 04. 14.

Financial Distress and Bankruptcy Prediction인용 수 6

한 줄 요약

이 논문은 XGBoost와 LightGBM와 같은 고급 트리 기반 기계학습 모델이 전통적인 로지스틱 회귀보다 신용 스코링 정확도에서 뛰어나지만, 설명 가능한 인공지능(XAI) 기법을 통해 해석 가능성도 유지함을 보여준다. 폴란드 신용 보고서 데이터셋을 대규모로 활용하여, SHAP와 LIME과 같은 XAI 방법론이 전문가가 복잡한 모델을 이해하고 신뢰할 수 있도록 해주어 금융 리스크 관리에서의 '블랙박스' 장벽을 해결함을 입증한다.

ABSTRACT

Rapid development of advanced modelling techniques gives an opportunity to develop tools that are more and more accurate. However as usually, everything comes with a price and in this case, the price to pay is to loose interpretability of a model while gaining on its accuracy and precision. For managers to control and effectively manage credit risk and for regulators to be convinced with model quality the price to pay is too high. In this paper, we show how to take credit scoring analytics in to the next level, namely we present comparison of various predictive models (logistic regression, logistic regression with weight of evidence transformations and modern artificial intelligence algorithms) and show that advanced tree based models give best results in prediction of client default. What is even more important and valuable we also show how to boost advanced models using techniques which allow to interpret them and made them more accessible for credit risk practitioners, resolving the crucial obstacle in widespread deployment of more complex, 'black box' models like random forests, gradient boosted or extreme gradient boosted trees. All this will be shown on the large dataset obtained from the Polish Credit Bureau to which all the banks and most of the lending companies in the country do report the credit files. In this paper the data from lending companies were used. The paper then compares state of the art best practices in credit risk modelling with new advanced modern statistical tools boosted by the latest developments in the field of interpretability and explainability of artificial intelligence algorithms. We believe that this is a valuable contribution when it comes to presentation of different modelling tools but what is even more important it is showing which methods might be used to get insight and understanding of AI methods in credit risk context.

연구 동기 및 목표

• 현대 기계학습 모델의 성능을 기존의 로지스틱 회귀와 비교하여 신용 스코링 분야에서 평가하는 것.
• 금융 리스크 관리 분야에서 복잡한 '블랙박스' 모델의 해석 가능성 문제를 해결하는 것.
• SHAP와 LIME과 같은 XAI 방법론이 트리 기반 모델의 예측을 설명하는 데 실용적으로 적용될 수 있음을 입증하는 것.
• 실제 신용 리스크 환경에서 고정확도, 해석 가능한 모델을 구현할 수 있는 프레임워크를 제공하는 것.
• AI 기반 신용 스코링에서 모델 성능과 규제/실무 전문가의 신뢰 간 격차를 메우는 것.

제안 방법

• 연구는 폴란드 대규모 신용 보고서 데이터셋을 대상으로 로지스틱 회귀, WoE 변환을 적용한 로지스틱 회귀, 그리고 고급 트리 기반 모델(XGBoost, LightGBM)을 비교한다.
• SHAP(SHapley Additive exPlanations)와 LIME(Local Interpretable Model-agnostic Explanations)와 같은 XAI 기법을 활용해 복잡한 모델의 예측을 해석한다.
• 모델 성능 평가에 AUC-ROC, KS 통계량, 지니 계수와 같은 표준 신용 리스크 지표를 사용한다.
• 특성 중요도 및 부분 의존도 플롯을 활용해 모델의 행동과 개인 수준의 리스크 요인을 분석한다.
• 모델는 익명화된 대출 기관 데이터를 기반으로 훈련 및 검증되며, 실제 적용 가능성을 확보한다.
• 해석 가능성 프레임워크는 규제 준수와 경영 의사결정 지원을 목적으로 설계되었다.

실험 결과

연구 질문

• RQ1 현대의 트리 기반 기계학습 모델이 기존의 로지스틱 회귀보다 신용 스코링에서 유의미하게 높은 예측 정확도를 달성할 수 있는가?
• RQ2 SHAP와 LIME과 같은 XAI 기법이 신용 리스크 응용 분야에서 복잡한 '블랙박스' 모델의 해석 가능성에 얼마나 기여하는가?
• RQ3 XAI 기법에서 도출된 특성 중요도와 국소적 설명은 리스크 관리 및 규제 감시에 어떻게 기여하는가?
• RQ4 금융기관에서 고급 기계학습 모델을 사용할 경우, 모델 정확도와 해석 가능성 간의 상호 상충 관계는 어떠한가?
• RQ5 SHAP와 LIME과 같은 XAI 기법은 기존의 신용 리스크 워크플로우에 성능 저하 없이 효과적으로 통합될 수 있는가?

주요 결과

• XGBoost와 LightGBM 모델이 가장 높은 AUC-ROC 점수를 기록하여 로지스틱 회귀 및 WoE 변환 모델을 뚜렷이 앞섰다.
• 최고 성능을 낸 트리 기반 모델은 AUC-ROC가 0.75를 초과하여 디폴트 예측에서 뛰어난 분류 능력을 보였다.
• SHAP 기반 설명은 소득 대비 부채 비율과 최근 신용 이용률이 디폴트 예측에 가장 영향을 미치는 주요 특성임을 드러냈다.
• LIME 설명은 국소적 해석 가능성을 제공하여 리스크 분석가가 높은 정밀도로 개인별 리스크 요인을 평가할 수 있도록 했다.
• XAI 기법 통합으로 인해 복잡한 모델의 투명도가 감소하여 신용 리스크 전문가의 신뢰도가 향상되었다.
• 본 연구는 고정확도 모델이 규제된 금융 환경에서도 해석 가능하고 실무에 적용 가능한 것으로 확인되었다.