[논문 리뷰] Towards Explainable Deep Learning for Credit Lending: A Case Study

Ceena Modarres, Mark Ibrahim외 2명|arXiv (Cornell University)|2018. 11. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 10인용 수 11

한 줄 요약

이 논문은 신용 리스크 예측을 위한 딥 뉴럴 네트워크의 해석 가능성을 평가하기 위해 LIME, DeepLift, 그리고 통합 기여도를 사용하며, 로지스틱 회귀 가중치를 기준으로 한 참조 기준으로 삼는다. 통합 기여도가 전역 특성 중요도와 가장 유사하게 나타나지만, 해석 결과는 기준점 선택에 매우 민감한 편이며, 금융 분야의 AI 해석 가능성에서 맥락 인식 기반 기준점의 필요성을 강조한다.

ABSTRACT

Deep learning adoption in the financial services industry has been limited due to a lack of model interpretability. However, several techniques have been proposed to explain predictions made by a neural network. We provide an initial investigation into these techniques for the assessment of credit risk with neural networks.

연구 동기 및 목표

• 딥 러닝 예측을 설명하기 위한 기여도 방법(LIME, DeepLift, 통합 기여도)의 신뢰성과 신뢰도를 평가하기 위해.
• 이러한 방법들이 기존에 알려진 해석 가능한 모델인 로지스틱 회귀와 일관된 설명을 제공하는지, 신용 리스크 평가에서 기준으로 삼는다.
• 기여도 설명이 신용 리스크 모델링에서 기준 벡터 선택에 얼마나 민감한지 조사하기 위해.
• 규제된 금융 응용 분야에서 해석 가능한 AI의 신뢰성, 안정성, 사용자 이해도 향상을 위한 향후 연구 방향 탐색하기 위해.

제안 방법

• FICO 해석 가능한 기계학습 데이터셋을 사용해 피드포워드 신경망을 훈련하여 90일 이내 연체 여부(Y ∈ {0,1})를 예측한다.
• 동일한 데이터셋에 대해 로지스틱 회귀를 적용해 전역 특성 중요도 가중치를 유도하며, 비교를 위한 기준으로 삼는다.
• LIME, DeepLift, 그리고 통합 기여도를 사용해 개별 신용 신청에 대한 국소 기여도 설명을 생성한다.
• 국소 기여도와 전역 로지스틱 회귀 가중치 간의 상관관계 및 유사도 측정(유클리드 거리(L2 노름) 및 스피어만 순위 거리)를 통해 기여도 품질을 평가한다.
• 각 지원자에 대해 K번의 반복 동안 기준점(r)을 변화시켜 불확실성 평가를 수행하며, 표준편차와 샤논 엔트로피를 지표로 사용한다.
• 후보자 기반 기준점(예: 의사결정 경계, 평균, 신용 기록 없음)을 탐색하고, 기여도 안정성과 해석 가능성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 LIME, DeepLift, 그리고 통합 기여도는 신용 리스크 예측에서 로지스틱 회귀의 전역 특성 중요도와 얼마나 잘 일치하는가?
• RQ2 신용 대출 응용 분야에서 기여도 방법은 다양한 기준점에 대해 얼마나 일관된가?
• RQ3 기준점 선택이 모델 설명의 신뢰성과 불확실성에 어떤 영향을 미치는가?
• RQ4 개인화되거나 맥락 기반 기준점은 기여도 기반 설명의 신뢰성과 해석 가능성 향상에 기여할 수 있는가?
• RQ5 신용 리스크 결정에서 행동 가능하고 직관적인 설명을 생성하기 위해 가장 효과적인 기준점은 무엇인가?

주요 결과

• 통합 기여도가 로지스틱 회귀의 전역 특성 가중치와 가장 유사한 기여도를 도출하였으며, 특성 일치도(상위 7개 특성 중 7개)와 L2 및 순위 거리 측정치 모두에서 유사성을 보였다.
• LIME는 로지스틱 회귀 기준에서 상위 7개 특성 중 단지 두 개만 식별하여, L2 거리가 작다는 점에도 불구하고 커버리지가 제한적임을 시사한다.
• 기여도 결과는 기준점 선택에 매우 민감했으며, 기준점 변경으로 인한 설명 변화의 크기가 실제 지원자의 프로필 변화와 유사한 수준이었다.
• 기준점을 의사결정 경계상에서 가장 유사한 10명의 지원자로 제한함으로써 설명의 산산이 흩어지는 현상(표준편차 감소)과 함께 엔트로피 증가를 관찰하여, 안정성 향상이 이루어졌음을 확인했다.
• 평균 지원자나 신용 기록이 없는 지원자와 같은 직관적인 기준점은 모델에 의해 고위험으로 평가되어 중립적 기준점으로서의 사용이 불가능함을 확인했다.
• 의사결정 경계상 유사한 지원자 기반 개인화된 기준점은 불확실성을 감소시키며 설명의 안정성 향상에 기여할 수 있어, 신용 AI에서 더 맥락 인식 기반의 해석 가능성으로 나아가는 길을 제시한다.