[논문 리뷰] Towards Global Explanations for Credit Risk Scoring

Irene Unceta, Jordi Nin외 1명|arXiv (Cornell University)|2018. 11. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 10

한 줄 요약

이 논문은 블랙박스 신용 리스크 모델의 의사결정 함수를 샘플링하여 더 단순하고 투명한 모델을 훈련시켜 전역적이고 해석 가능한 설명을 생성하는 모델에 종속되지 않는 복사 프레임워크를 제안한다. 이 방법은 예측 정확도를 유지하면서도 설명 가능성과 분해 가능성도 보존하여 사전 처리 없이도 규제 준수와 향상된 기능 중요도 분석을 가능하게 한다. 최대 79%의 높은 정확도를 달성한다.

ABSTRACT

In this paper we propose a method to obtain global explanations for trained black-box classifiers by sampling their decision function to learn alternative interpretable models. The envisaged approach provides a unified solution to approximate non-linear decision boundaries with simpler classifiers while retaining the original classification accuracy. We use a private residential mortgage default dataset as a use case to illustrate the feasibility of this approach to ensure the decomposability of attributes during pre-processing.

연구 동기 및 목표

• 고성능 예측 정확도와 설명 가능성 간의 갈등을 해결하기 위해.
• 모델의 분해 가능성을 손상시키고 규제 준수에 악영향을 주는 사전 처리 단계의 한계를 극복하기 위해.
• 로컬 또는 사후 해석에 의존하지 않고도 블랙박스 분류기의 전역적이고 해석 가능한 설명을 생성하는 방법을 개발하기 위해.
• 복잡한 모델을 단순하지만 정확한 해석 가능한 복제 모델로 대체하여 규제 준수 가능하고 고성능의 신용 평가를 가능하게 하기 위해.
• 비분해 가능한 특성 공학을 피하고 원본 속성에서 직접 학습함으로써 기능 중요도의 명확성을 유지하기 위해.

제안 방법

• 원본 특성 공간에서 합성 데이터 포인트를 샘플링하여 원본 모델의 예측으로 레이블링된 합성 데이터셋을 생성하기 위해.
• 원본 모델의 의사결정 함수를 모방하기 위해 합성 데이터셋에서 복제 모델(예: 의사결정트리 또는 로지스틱 회귀)을 훈련하기 위해.
• 정규화나 하이퍼파라미터 튜닝을 피함으로써 모델 용량을 유지하는 비제약적 경험 리스크 최소화를 통한 복제 모델 최적화를 위해.
• 원본 모델의 행동을 원본 입력 특성에서 그대로 재현하는 서rogate로 복제 모델을 사용하여 전역적 해석 가능성을 확보하기 위해.
• 무한한 합성 데이터 스트림을 활용하여 일반화 오차를 渐진적으로 감소시킴으로써 복제 모델의 일반화 성능을 높이기 위해.
• 표준 학습 관행과 대비하여 정규화보다 모델 용량을 우선시하여 복사 과정 중 성능 저하를 방지하기 위해.

실험 결과

연구 질문

• RQ1 고성능 블랙박스 신용 리스크 모델의 의사결정 경계를 설명하기 위해 전역적이고 해석 가능한 서rogate 모델을 구축할 수 있는가?
• RQ2 복사 과정이 정확도를 유지하면서도 해석 가능성과 규제 준수를 보장할 수 있는가?
• RQ3 복사와 표준 기계학습 간의 근본적인 차이점은 무엇인가? 특히 최적화 및 일반화 측면에서.
• RQ4 복사 프레임워크가 신용 리스크 모델링에서 비분해 가능한 사전 처리의 필요성을 제거할 수 있는가?
• RQ5 정확도 및 기능 중요도 일致성 측면에서 복제 모델의 성능은 원본 블랙박스 모델과 어떻게 비교되는가?

주요 결과

• 기존에 79%의 정확도를 기록한 기울기 부스팅 트리 모델을 복제할 때, 원본 테스트 데이터에서 평균 정확도 0.739 ± 0.018를 달성하였다.
• 복제 모델은 기능 중요도 순위에서 원본 모델과 높은 일致성을 유지하였으며, 더 기울어진 분포로 인해 기능 간의 구분 능력이 향상됨을 나타내었다.
• 분해 가능성 시나리오에서 복제 모델은 원본 테스트 데이터에서 71% (±4%)의 정확도를 기록하였으며, 이는 기존 77% 정확도를 기록한 사전 처리된 로지스틱 회귀 파이프라인을 대체한 것이다.
• 비선형적이며 해석 불가능한 기울기 부스팅 트리를 의사결정트리로 대체하여 원본 특성에서 직접 작동하는 복제 모델을 성공적으로 도입함으로써 성능와 해석 가능성을 유지하였다.
• 비분해 가능한 특성 공학의 필요성을 제거하여 원본 데이터 속성 기반의 설명을 가능하게 하였다.
• 복사 과정에서의 오차의 주요 원인은 유한한 합성 데이터와 고차원 특성 공간에서의 열악한 탐색으로 규명되었으며, 향후 최적의 합성 데이터 생성 기법에 대한 연구가 필요함을 시사한다.