[논문 리뷰] Generating Counterfactual and Contrastive Explanations using SHAP

Shubham Rathi|arXiv (Cornell University)|2019. 06. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 55

한 줄 요약

본 논문은 SHAP를 이용한 모델-무관 파이프라인으로 대조적 설명과 대응하는 반사실 데이터 포인트를 생성하고, Iris, Wine Quality, Mobile Features 데이터셋에서 여러 모델에 걸쳐 평가한다.

ABSTRACT

With the advent of GDPR, the domain of explainable AI and model interpretability has gained added impetus. Methods to extract and communicate visibility into decision-making models have become legal requirement. Two specific types of explanations, contrastive and counterfactual have been identified as suitable for human understanding. In this paper, we propose a model agnostic method and its systemic implementation to generate these explanations using shapely additive explanations (SHAP). We discuss a generative pipeline to create contrastive explanations and use it to further to generate counterfactual datapoints. This pipeline is tested and discussed on the IRIS, Wine Quality & Mobile Features dataset. Analysis of the results obtained follows.

연구 동기 및 목표

• GDPR 주도 하에 설명가능한 AI와 대조적 및 반사실 설명과 같은 인간 중심 설명의 필요성을 제시한다.
• SHAP를 사용하여 대조적 설명과 대응하는 반사실 데이터 포인트를 생성하는 모델-무관 파이프라인을 제안한다.
• 다양한 데이터셋과 분류기에 걸쳐 접근 방식을 평가하여 생성된 설명의 품질과 실용성을 살펴본다.

제안 방법

• 타깃 클래스들에 걸쳐 데이터 포인트마다 특성 기여도를 SHAP으로 계산한다.
• 'Why P?'와 'Why not Q?'에 대한 자연어 설명을 양수/음수 SHAP 값으로 구성한다.
• 원하는 클래스에 부정적으로 기여하는 특성만 변형시켜 반사실 데이터 포인트를 생성한다.
• 가장 가까운 이웃 기반의 반사실을 생성하기 위해 변형된 특성 집합을 탐색하여 포인트가 바람직한 클래스 Q로 분류될 때까지 탐색한다.
• 모델(KNN, NN, RF, SVM)과 데이터셋(IRIS, Wine Quality, Mobile Features) 간에 비교하여 반사실 생성의 차이를 평가한다.

실험 결과

연구 질문

• RQ1 SHAP 기반 기여도가 서로 다른 분류기에 대해 모델 출력에 대해 일관된 대조적 설명('Why P not Q?')을 생성하는 데 사용될 수 있는가?
• RQ2 모델-무관한 방식으로 부정적으로 기여하는 특성만 변형시켜 다양하고 현실적인 반사실 데이터 포인트를 생성하는 것이 가능한가?
• RQ3 제안된 설명이 밀도와 특성 차원수가 다른 데이터셋에서 어떻게 수행되는가?

주요 결과

• 이 접근법은 여러 모델과 데이터셋에서 대조적 설명과 반사실 데이터 포인트를 산출한다.
• 생성된 대부분의 반사실은 원래 데이터셋에 존재하지 않으며, 로컬 이웃을 넘어선 탐색을 나타낸다.
• SVM과 신경망은 더 많은 반사실을 생성하는 경향이 있어 이들의 결정 경계가 이러한 변형에 더 적합함을 시사한다.
• Iris, RF, NN, KNN에서 반사실의 수와 데이터와의 중첩 정도가 다르며, 중첩이 낮을수록 결정 경계가 더 촘촘하다는 것을 나타낸다.
• Dense 데이터셋(Wine Quality, Mobile Features)은 공통 반사실이 더 적게 생성되어 모델에 의한 더 나은 구분을 시사한다.
• 시스템 구현(웹 대시보드)은 주어진 포인트에 대해 설명 생성을 실용적으로 시연한다.