[논문 리뷰] Explainable AI in Credit Risk Management

Joerg Osterrieder, Branka Hadji Misheva외 3명|Data Archiving and Networked Services (DANS)|2021. 03. 01.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 Lending Club 데이터셋을 사용하여 기계학습 기반 신용 평가 모델에 대해 LIME과 SHAP—최신의 후행 해석 기법—을 구현하여 신용 리스크 결정의 투명성을 향상시킨다. 결과적으로 두 방법 모두 일관되고 금융적으로 해석 가능한 설명을 도출하였으며, SHAP는 높은 계산 비용에도 불구하고 특성 기여도 추정에서 뛰어난 안정성을 보였다.

ABSTRACT

Artificial Intelligence (AI) has created the single biggest technology revolution the world has ever seen. For the finance sector, it provides great opportunities to enhance customer experience, democratize financial services, ensure consumer protection and significantly improve risk management. While it is easier than ever to run state-of-the-art machine learning models, designing and implementing systems that support real-world finance applications have been challenging. In large part because they lack transparency and explainability which are important factors in establishing reliable technology and the research on this topic with a specific focus on applications in credit risk management. In this paper, we implement two advanced post-hoc model agnostic explainability techniques called Local Interpretable Model Agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP) to machine learning (ML)-based credit scoring models applied to the open-access data set offered by the US-based P2P Lending Platform, Lending Club. Specifically, we use LIME to explain instances locally and SHAP to get both local and global explanations. We discuss the results in detail and present multiple comparison scenarios by using various kernels available for explaining graphs generated using SHAP values. We also discuss the practical challenges associated with the implementation of these state-of-art eXplainabale AI (XAI) methods and document them for future reference. We have made an effort to document every technical aspect of this research, while at the same time providing a general summary of the conclusions.

연구 동기 및 목표

• 기계학습 기반 신용 평가 모델의 투명성 부족 문제를 해결하여 신뢰도 향상과 규제 준수를 도모한다.
• 후행 해석 기법인 LIME과 SHAP의 효과성을 평가하여 기계학습 예측의 신용 리스크 해석에 기여한다.
• 계산 및 기술적 제약 조건 하에서 실생활 금융 응용 분야에 XAI 기법을 구현하는 데 실질적인 통찰을 제공한다.
• 설명 가능한 AI를 통해 공정하고 더 해석 가능한 신용 결정을 가능하게 하여 금융 포용성을 지원한다.
• 향후 연구 및 금융 분야의 XAI 도입을 위한 구현 과제와 해결 방법을 기록한다.

제안 방법

• 모델에 종속적이지 않은 접근 방식을 사용하여, 개별 대출 예측에 대한 국소적, 인스턴스 수준의 설명을 위해 LIME을 적용하였다.
• Shapley 값에 기반하여 특성 기여도를 정량화함으로써 국소적 및 글로벌 설명을 제공하기 위해 SHAP를 사용하였다.
• Lending Club 데이터셋에 대해 다수의 기계학습 모델(로지스틱 회귀, 랜덤 포레스트, SVM)을 훈련하고, 그 예측 결과를 설명 도구의 입력으로 활용하였다.
• 예측에 대한 특성 영향을 분석하기 위해 ALE(Accumulated Local Effects) 플롯을 사용하였으며, 구간 크기는 시각화 및 안정성 검증을 통해 선택하였다.
• Kernel Explainer를 위한 배경 데이터 세트로 대표성을 갖춘 데이터를 생성하기 위해 20,000개의 서브샘플에 대해 k-means 클러스터링을 수행하여 SHAP 계산을 최적화하였다.
• 모델 호환성 문제를 해결하기 위해 최고의 GridSearchCV 모델을 별도의 추정기로 재학습하여 LIME 통합을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 LIME와 SHAP는 기계학습 기반 신용 평가 모델의 예측을 금융 논리와 일치하는 방식으로 어떻게 설명하는가?
• RQ2 LIME와 SHAP가 도출한 상위 특성들이 다양한 데이터 샘플 크기에서 얼마나 안정적인가?
• RQ3 실제 금융 기계학습 파이프라인에 후행 해석 기법을 구현할 때 발생하는 실질적 과제는 무엇인가?
• RQ4 다양한 SHAP 설명 도구와 커널 설정이 특성 기여도 플롯의 해석 가능성과 일관성에 어떤 영향을 미치는가?
• RQ5 설명 가능한 AI 기법은 규제 요구사항(예: GDPR)을 충족하면서도 신용 리스크 관리에서 기계학습 모델의 신뢰도 향상과 도입 촉진에 기여할 수 있는가?

주요 결과

• LIME와 SHAP는 금융 직관과 일치하는 일관되고 해석 가능한 설명을 도출하였으며, 예를 들어 총 상환 금액이 증가할수록 상환 불이행 위험이 감소하는 경향을 잘 반영하였다.
• 신용 리스크에 영향을 주는 상위 20개 특성들이 다양한 테스트 세트 크기에서 안정적으로 유지되어, 모델의 특성 기여도 순위에 대한 신뢰도가 높아졌다.
• SHAP 값은 특성 영향을 잘 포착하는 데 뛰어난 안정성을 보였으며, 'total_pymnt' 특성의 경우 총 상환 금액이 0에서 40,000으로 증가함에 따라 예측 점수가 0.65점 감소하는 경향을 보였다.
• 'total_rec_int'(총 수령 이자) 특성은 높은 리스크로 분류될 가능성을 높이는 것으로 나타나, 이자 수령액이 클수록 리스크가 증가하는 경향이 있음을 시사하였다.
• 계산 요구 사항이 높았으며, 특히 SHAP의 Kernel Explainer는 런타임을 줄이기 위해 샘플링(2,000개의 테스트 포인트)과 배경 데이터 근사화(30개의 k-means 중심점)를 적용해야 하는 등 높은 계산 비용이 수반되었다.
• SVM의 확률 추정 문제 및 설명 도구 호환성 문제와 같은 모델 특화 과제들은 철저한 전처리 및 모델 재학습을 통해 해결되었다.