[논문 리뷰] PSD2 Explainable AI Model for Credit Scoring

Neus Llop Torrent, Giorgio Visani외 1명|arXiv (Cornell University)|2020. 11. 20.

Financial Distress and Bankruptcy Prediction참고 문헌 33인용 수 6

한 줄 요약

이 논문은 GINI 점수 0.68를 달성하기 위해 SHAP 값으로 글로벌 및 로컬 해석 가능성을 확보한 CatBoost 기반의 설명 가능한 AI 모델을 제안한다. 이 모델은 전통적인 로지스틱 회귀 모델보다 예측 정확도를 향상시키면서도, 대출 승인 결정에 대한 투명하고 특성 수준의 설명을 통해 규제 준수를 보장한다.

ABSTRACT

The aim of this project is to develop and test advanced analytical methods to improve the prediction accuracy of Credit Risk Models, preserving at the same time the model interpretability. In particular, the project focuses on applying an explainable machine learning model to bank-related databases. The input data were obtained from open data. Over the total proven models, CatBoost has shown the highest performance. The algorithm implementation produces a GINI of 0.68 after tuning the hyper-parameters. SHAP package is used to provide a global and local interpretation of the model predictions to formulate a human-comprehensive approach to understanding the decision-maker algorithm. The 20 most important features are selected using the Shapley values to present a full human-understandable model that reveals how the attributes of an individual are related to its model prediction.

연구 동기 및 목표

• GDPR 및 PSD2 규정을 준수하면서도 고정확도와 해석 가능성을 갖춘 신용 평가 모델을 개발한다.
• 비선형 특성 관계를 포착하지 못하는 전통적인 로지스틱 회귀의 한계를 극복한다.
• 설명 가능한 AI(XAI) 기법을 적용하여 모델 예측에 대한 투명하고 인간이 이해할 수 있는 설명을 제공한다.
• 특히 불균형 재무 데이터셋에서 기계학습 모델, 특히 CatBoost의 성능을 평가한다.
• 샤플리 값(Shapley values)을 활용해 신용 리스크 결정에 영향을 미치는 주요 행동 특성들을 규명한다.

제안 방법

• 연구는 금융기관의 오픈 뱅킹 데이터를 활용하여 신용 평가 모델을 훈련시켰다.
• 불균형 데이터셋에서 뛰어난 성능을 보이는 것으로 확인되어 하이퍼파라미터 튜닝 후 CatBoost를 주요 모델로 선정했다.
• SHAP(SHapley Additive exPlanations)를 적용하여 모델 예측의 글로벌 및 로컬 해석 가능성을 도출했다.
• 특성 중요도는 샤플리 값에서 유도되었으며, 예측 결과에 가장 영향을 미친 20개의 특성들이 특정되었다.
• 데이터셋의 클래스 불균형 문제를 해결하기 위해 리샘플링 기법을 평가하였으며, 이는 모델의 공정성과 성능에 영향을 미쳤다.
• 워터폴 플롯과 의존성 플롯을 사용하여 SHAP 값을 시각화하고, 예상치 못한 모델 행동을 드러내었는데, 예를 들어 극단적인 소득 값이 높은 상환 불이행 위험과 관련이 있다는 점이 확인되었다.

실험 결과

연구 질문

• RQ1 불균형 재무 데이터에서 CatBoost는 로지스틱 회귀, 결정 트리, 신경망과 비교해 어떤 정도의 신용 평가 정확도를 보였는가?
• RQ2 SHAP 값은 규제된 재무 환경에서 모델 예측의 글로벌 및 로컬 해석 가능성을 어느 정도 제공할 수 있는가?
• RQ3 어떤 거래 기반 특성이 모델의 신용도 예측에 가장 크게 기여하는가?
• RQ4 왜 극단적인 거래 금액(예: 높은 입금 거래)이 직관적인 기대와는 반대로 높은 상환 불이행 위험과 관련이 있는가?
• RQ5 리샘플링 기법은 데이터 불균형 상황에서 신용 평가의 모델 성능과 공정성에 어떤 영향을 미치는가?

주요 결과

• 하이퍼파라미터 튜닝 후 CatBoost는 GINI 점수 0.68를 기록하여 로지스틱 회귀, 결정 트리, 신경망을 모두 앞서는 최고의 성능을 보였다.
• SHAP 분석 결과, 거래 이력에서 극단적인 소득 값(예: 75€ 이상)이 높은 상환 불이행 위험과 관련이 있다는 점이 드러났으며, 이는 初기 가정과는 반대되는 결과였다.
• 모델는 한 달 동안의 최대 입금 거래 금액이 높고, 이전 달과 유사한 값이 유지될 경우, 잘못된 부정(나쁜 고객가 좋은 고객로 잘못 분류됨)의 가능성이 높아진다는 점을 규명했다.
• trx_max_all_last30 및 trx_max_incoming_last30와 같은 특성들이 상환 불이행 위험 예측에 가장 영향을 미치는 특성들로 나타났으며, SHAP 값은 비선형 효과를 보였다.
• 신경망은 데이터셋이 상당히 크지 않은 한 높은 성능을 내지 못해, 제한된 데이터로 신용 평가에 최적화되지 않았다.
• 이 연구는 설명 가능한 AI 기법인 SHAP가 재무 데이터에서 직관에 어긋나지만 통계적으로 타당한 패턴을 드러내어 모델의 투명성과 신뢰도를 향상시킬 수 있음을 입증했다.