[논문 리뷰] PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards

Masoud Hashemi, Ali Fathi|arXiv (Cornell University)|2020. 08. 24.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 30

한 줄 요약

PermuteAttack를 도입한다. 이는 그라디언트-프리(gradient-free), 유전 알고리즘 기반의 방법으로 표 형식의 신용 점수 모델에 대한 현실적인 반사실(counterfactuals)을 생성하여 인스턴스 수준의 설명과 모델 비판을 가능하게 한다.

ABSTRACT

This paper is a note on new directions and methodologies for validation and explanation of Machine Learning (ML) models employed for retail credit scoring in finance. Our proposed framework draws motivation from the field of Artificial Intelligence (AI) security and adversarial ML where the need for certifying the performance of the ML algorithms in the face of their overwhelming complexity poses a need for rethinking the traditional notions of model architecture selection, sensitivity analysis and stress testing. Our point of view is that the phenomenon of adversarial perturbations when detached from the AI security domain, has purely algorithmic roots and fall within the scope of model risk assessment. We propose a model criticism and explanation framework based on adversarially generated counterfactual examples for tabular data. A counterfactual example to a given instance in this context is defined as a synthetically generated data point sampled from the estimated data distribution which is treated differently by a model. The counterfactual examples can be used to provide a black-box instance-level explanation of the model behaviour as well as studying the regions in the input space where the model performance deteriorates. Adversarial example generating algorithms are extensively studied in the image and natural language processing (NLP) domains. However, most financial data come in tabular format and naive application of the existing techniques on this class of datasets generates unrealistic samples. In this paper, we propose a counterfactual example generation method capable of handling tabular data including discrete and categorical variables. Our proposed algorithm uses a gradient-free optimization based on genetic algorithms and therefore is applicable to any classification model.

연구 동기 및 목표

• Finance에서 ML 기반 소매 신용 점수 산정의 모델 검증 및 설명 동기 부여.
• 표 형식 데이터에 대한 블랙박스 반사실 생성 프레임워크 제안.
• 고차 상호 작용을 모델링하여 반사실이 현실적이고 분포 내에 있도록 보장.
• 특징 상호 작용 및 모델 민감도 분석을 위한 시각적 및 통계적 도구 제공

제안 방법

• 그라디언트-프리 유전 알고리즘(PermuteAttack)을 사용하여 학습 데이터에서 선택한 특징 값의 순열로 반사실을 탐색.
• 가까움에 기반한 적합도 함수를 정의하여 최소한의 교란과 목표 클래스 변경을 선호.
• 표 형 데이터의 유효성을 보존하기 위해 작은 가법 노이즈 대신 순열을 통해 특징을 교란하고 이산/범주형 변수도 포함.
• 순열 처리를 위한 순서화 변환을 포함한 원-핫 인코딩 처리 후 평가를 위한 재변환.
• 현실적인 조건부 분포를 샘플링하기 위해 불연속화(discretization) 및 Gibbs 샘플링으로 고차 통계치를 도입.
• 반사실 인스턴스를 보고 변경된 특징을 강조하여 모델 의사결정을 설명.

실험 결과

연구 질문

• RQ1 표 형 신용 점수에 대한 반사실 설명은 모델의 그래디언트 없이 생성될 수 있는가?
• RQ2 순열 기반 반사실이 이산 및 범주형 특징을 포함한 데이터 분포를 존중하는가?
• RQ3 예측을 바꾸는 데 필요한 일반적인 특징 세트 크기는 얼마이며 SHAP으로 식별된 중요한 특징은 교란 빈도와 어떻게 정렬되는가?
• RQ4 반사실 설명이 모델 의사결정에 영향을 주는 특징 상호 작용과 어떤 관계가 있는가?
• RQ5 민감한 속성의 교란을 분석함으로써 잠재적 공정성 또는 차별 신호를 드러낼 수 있는가?

주요 결과

• PermuteAttack는 German Credit 데이터에 대해 테스트된 하이퍼파라미터에서 예측을 반전시키는 데 100% 성공으로 반사실을 생성했다.
• 평균적으로 예측을 반전시키는 데 2.35개의 특징을 바꿔야 했다.
• 가장 많이 교란된 특징은 SHAP 특징 중요도와 잘 정렬되지만 정확한 순서는 특징에 따라 달라진다.
• 공변 변화 그래프는 특징들이 함께 교란되는 방식을 보여주며, property, credit_history, account_check_status와 같은 중요한 특징 간의 강한 상호 작용을 시사한다.
• 민감 속성(age, personal_status_sex, foreign_worker)으로 교란을 제한하면 성공률이 26.25%로 줄어 공정성 고려가 가능함을 시사한다.
• 상위 SHAP 특징을 제거하면 결과를 바꾸는 데 필요한 평균 특징 수가 3.7로 증가하여 반전이 여러 속성에 의존함을 강조한다.
• Gibbs 샘플링은 반사실의 현실성을 높이며, 실제 대 반사실 구별자를 학습시킨 판별기는 Gibbs 샘플링 사용 시 반사실을 더 많이 감지한다(49% 성공) — 비사용 시 12%.