[논문 리뷰] Interpretable Credit Application Predictions With Counterfactual Explanations

Rory Mc Grath, Luca Costabello외 5명|arXiv (Cornell University)|2018. 11. 13.

Financial Distress and Bankruptcy Prediction인용 수 88

한 줄 요약

본 논문은 신용 결정에 대한 반사실 설명을 더 해석 가능하도록 적응시키고, 승인된 대출에 대한 양의 반사실들(positive counterfactuals)을 도입하며, 두 가지 가중 전략(global feature importance 및 nearest neighbors)을 통해 흑박스 신용 모델에서 더 작고 실행 가능한 반사실들을 생성합니다.

ABSTRACT

We predict credit applications with off-the-shelf, interchangeable black-box classifiers and we explain single predictions with counterfactual explanations. Counterfactual explanations expose the minimal changes required on the input data to obtain a different result e.g., approved vs rejected application. Despite their effectiveness, counterfactuals are mainly designed for changing an undesired outcome of a prediction i.e. loan rejected. Counterfactuals, however, can be difficult to interpret, especially when a high number of features are involved in the explanation. Our contribution is two-fold: i) we propose positive counterfactuals, i.e. we adapt counterfactual explanations to also explain accepted loan applications, and ii) we propose two weighting strategies to generate more interpretable counterfactuals. Experiments on the HELOC loan applications dataset show that our contribution outperforms the baseline counterfactual generation strategy, by leading to smaller and hence more interpretable counterfactuals.

연구 동기 및 목표

• 대출이 왜 수용되었는지와 거절되었는지에 대한 반사실(양의 및 음의 설명)을 사용해 설명한다.
• 특징 가중화를 통해 반사실의 복잡성을 줄여 해석 가능성을 향상시킨다.
• 실제 신용 데이터 세트에서 더 작고 실행 가능하게 반사실을 생성하는 가중화 전략의 효과를 시연한다.
• 파이프라인에서 사용되는 기존의 블랙박스 분류기의 예측력을 평가한다.

제안 방법

• 예측 모델을 블랙박스로 취급하고 반사실 손실을 최적화하여 결과를 뒤집는 최소 입력 변화를 찾는다.
• 입력 변화의 거리를 맨해튼 거리로 측정하고 역 MAD에 의해 가중치를 부여하여 희소한 반사실을 촉진한다.
• 목표에 근접하도록 lambda 매개변수를 조정하며 Nelder-Mead를 사용해 반복적으로 최적화한다.
• 목표 결과를 의사결정 경계로 설정(예: P(y=1)=0.5)하여 양의 반사실을 도입하고 지원자가 얼마나 수용되었는지 설명한다.
• 두 가지 가중 체계(ANOVA F-값을 통한 전역 특징 중요도와 K-최근접 이웃(KNN) 접근 방식)을 제안하여 특징 변화를 가중하고 더 압축된 반사실을 생성한다.

실험 결과

연구 질문

• RQ1 반사실 설명을 긍정적 신용 결정(수용된 대출)을 안전 여유로 설명하도록 어떻게 적응시킬 수 있는가?
• RQ2 가중 전략(전역 특징 중요도와 최근접 이웃)이 기본 반사실보다 더 작고 해석 가능성이 높은 반사실을 제공하는가?
• RQ3 대출 예측에서 사용되는 기존의 블랙박스 분류기는 어떻게 성능을 발휘하며 반사실 설명이 그 결정과 어떤 관계를 가지는가?

주요 결과

• 가중 반사실은 평균적으로 더 작은 설명을 제공하여 해석 가능성을 향상시킨다.
• 전역 특징 중요도 가중치는 테스트된 모델에서 기준선보다 평균적으로 11.2% 작게 반사실을 생성한다.
• KNN 기반 가중 역시 해석 가능성을 개선하며 보고된 결과에서 기준선보다 나쁨을 보인 적이 없다.
• 평가된 모델들 중 GradBoost와 로지스틱 회귀가 비교 가능한 F1 및 정확도를 달성했으며, HELOC 데이터에서 F1은 최대 0.72, 정확도는 최대 0.74에 달했다.
• 양의 반사실은 의사결정 경계로부터의 실질적 허용 오차를 제공하여 신청자가 얼마나 수용되었는지 보여준다.