[논문 리뷰] Explaining Credit Risk Scoring through Feature Contribution Alignment with Expert Risk Analysts

Ayoub El Qadi, Natalia Díaz-Rodríguez외 2명|arXiv (Cornell University)|2021. 03. 15.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 해석 가능성에 기반한 SHAP를 사용하여 기계학습 모델의 해석을 전문 위험 분석가의 판단과 일치시키는 하이브리드 접근법을 제안한다. XGBoost는 AUC 0.7466을 기록하며 장기 수익성의 특징을 더 잘 포착하지만, 전문가의 공감대와는 상반되게 수익성의 중요도를 최우선 특징으로 평가함으로써 모델 신뢰성에 심각한 문제를 제기한다. 이는 금융 의사결정에서 모델의 신뢰성에 도전하는 특징 중요도의 심각한 이질성이다.

ABSTRACT

Credit assessments activities are essential for financial institutions and allow the global economy to grow. Building robust, solid and accurate models that estimate the probability of a default of a company is mandatory for credit insurance companies, moreover when it comes to bridging the trade finance gap. Automating the risk assessment process will allow credit risk experts to reduce their workload and focus on the critical and complex cases, as well as to improve the loan approval process by reducing the time to process the application. The recent developments in Artificial Intelligence are offering new powerful opportunities. However, most AI techniques are labelled as blackbox models due to their lack of explainability. For both users and regulators, in order to deploy such technologies at scale, being able to understand the model logic is a must to grant accurate and ethical decision making. In this study, we focus on companies credit scoring and we benchmark different machine learning models. The aim is to build a model to predict whether a company will experience financial problems in a given time horizon. We address the black box problem using eXplainable Artificial Techniques in particular, post-hoc explanations using SHapley Additive exPlanations. We bring light by providing an expert-aligned feature relevance score highlighting the disagreement between a credit risk expert and a model feature attribution explanation in order to better quantify the convergence towards a better human-aligned decision making.

연구 동기 및 목표

• 유럽 금융 데이터를 기반으로 1년 이내의 기업 파산을 예측하기 위한 강력한 기계학습 모델을 개발하는 것.
• 해석 가능성 문제를 해결하기 위해 SHAP 기반 사후 해석을 적용하여 투명성과 신뢰도를 향상시키는 것.
• 기계학습 특징 기여도와 전문 위험 분석가의 판단 간 일치도를 정량화하여 특징 관련성의 격차를 규명하는 것.
• 특히 고위험 금융 의사결정 환경에서 기계학습 모델이 인간 전문성과 더 잘 일치하도록 만들 수 있는지 평가하는 것.
• 전문 지식을 기계학습 모델에 통합하여 성능 향상과 인간-AI 공감대를 제고할 수 있는지 탐색하는 것.

제안 방법

• 연구는 주로 프랑스 기반의 약 10만 개의 유럽 기업 데이터를 사용하며, 1년 기간 동안의 재무비율과 파산 지표를 포함한다.
• XGBoost, 기울기 부스팅, 로지스틱 회귀 등 다양한 기계학습 모델을 기반으로 파산 예측 성능을 비교한다.
• 클래스 불균형 문제를 완화하기 위해 데이터 리샘플링 기법을 적용하여 재현율을 최대 20% 향상시켰다.
• SHAP (SHapley Additive exPlanations)를 사용해 사후 특징 기여도를 생성하여 각 특징이 개별 예측에 기여하는 정도를 정량화한다.
• 모델의 확률을 기존 기업 스코어카드 시스템의 표준화된 리스크 스코어 레이블(A–E)로 매핑하여 전문가 평가와 직접 비교할 수 있도록 한다.
• 신용 리스크 분석가 패anel로부터 전문가 판단을 수집하고, SHAP 기반 특징 중요도 순위와 비교 분석한다.

실험 결과

연구 질문

• RQ1 특히 클래스 불균형이 심한 유럽 데이터셋에서 XGBoost를 포함한 기계학습 모델이 기업 파산을 얼마나 잘 예측하는가?
• RQ2 SHAP 기반 특징 기여도는 신용 리스크 분석가의 전문 지식과 얼마나 일치하는가?
• RQ3 기계학습 모델이 특정한 특징을 가장 중요하게 평가하는 데 반해 전문가가 이를 중요하게 보지 않는 주요 격차는 무엇인가?
• RQ4 왜 전문가 분석가들이 중요하지 않다고 평가하는 수익성(R3)이 XGBoost 모델에서 높은 중요도를 차지하는가?
• RQ5 전문 지식을 모델 설계나 데이터 주석 처리에 통합하면 인간 판단과의 일치도를 높이고 AI 기반 신용 리스크 평가의 신뢰도를 향상시킬 수 있는가?

주요 결과

• XGBoost 모델은 AUC 0.7466과 95.39%의 정확도를 기록하여 다른 모델보다 파산 예측 성능에서 뛰어난 성과를 보였다.
• 데이터 리샘플링 기법을 적용함으로써 모델의 재현율 지표가 최대 20% 향상되었으며, 이는 클래스 불균형이 모델 성능에 상당한 영향을 미친다는 것을 시사한다.
• XGBoost 모델은 수익성(R3)을 파산 예측의 가장 중요한 특징으로 식별했지만, 전문가 분석가들은 이를 무시하는 것으로 평가했다.
• 전문가들은 단기 유동성 비율(R1 및 R2)을 중시한 반면, 기계학습 모델은 장기적이고 기업 전반적인 특성인 수익성과 자산건실도를 강조했다.
• 모델은 영국 기업의 경우 파산 위험이 낮다는 패턴을 독립적으로 학습했으며, 이는 이미 Tinubu 스코어카드에 내재된 지역적 위험 패tern을 반영하여 잠재적으로 일관된 지역 위험 패턴을 도출했다.
• 특히 수익성 평가 측면에서 전문가와 모델 간의 특징 중요도에 심각한 이질성이 존재하며, 이는 기계학습 모델 설계 시 전문가 지식 기반의 인덕티브 바이어스가 필요하다는 점을 강조한다.