[논문 리뷰] Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach

Carlos Fernández-Loría, Foster Provost외 1명|arXiv (Cornell University)|2020. 01. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 54

한 줄 요약

논문은 시스템의 결정을 바꿀 최소한의 인과적으로 관련된 입력 특징을 식별하는 반대사실 설명(counterfactual explanations)이 SHAP나 LIME 같은 특징 중요도 방법보다 결정들을 더 잘 설명한다고 주장하며, 그런 설명을 생성하기 위한 일반 프레임워크와 휴리스틱을 제시한다.

ABSTRACT

We examine counterfactual explanations for explaining the decisions made by model-based AI systems. The counterfactual approach we consider defines an explanation as a set of the system's data inputs that causally drives the decision (i.e., changing the inputs in the set changes the decision) and is irreducible (i.e., changing any subset of the inputs does not change the decision). We (1) demonstrate how this framework may be used to provide explanations for decisions made by general, data-driven AI systems that may incorporate features with arbitrary data types and multiple predictive models, and (2) propose a heuristic procedure to find the most useful explanations depending on the context. We then contrast counterfactual explanations with methods that explain model predictions by weighting features according to their importance (e.g., SHAP, LIME) and present two fundamental reasons why we should carefully consider whether importance-weight explanations are well-suited to explain system decisions. Specifically, we show that (i) features that have a large importance weight for a model prediction may not affect the corresponding decision, and (ii) importance weights are insufficient to communicate whether and how features influence decisions. We demonstrate this with several concise examples and three detailed case studies that compare the counterfactual approach with SHAP to illustrate various conditions under which counterfactual explanations explain data-driven decisions better than importance weights.

연구 동기 및 목표

• 모델 예측을 설명하는 것과 시스템 결정을 설명하는 것을 구분하려고 한다.
• 시스템 결정에 대한 중요도 가중치 설명의 한계를 보여주려 한다.
• 다양한 특징 유형을 가진 일반 데이터 기반 AI 시스템에 적용 가능한 일반화된 반사실적 프레임워크를 제안하려 한다.
• 맥락에 맞춘 유용한 반사실적 설명을 찾기 위한 휴리스틱 절차를 개발하려 한다.

제안 방법

• 반사실적 설명을 시스템의 결정을 바꾸는 차단 불가 결합으로서의 인과적이고 불가역적인 입력 특징 집합으로 정의한다.
• 임의의 특징 유형과 다중 예측 모델을 처리하도록 기존의 반사실 프레임워크를 일반화한다.
• 점수 함수와 선호(비용) 함수를 사용하여 반사실적 설명을 탐색하는 실용적 휴리스틱 알고리즘(및 그 일반화)을 도입한다.
• 특징 증거를 제거(대치)하여 반사실적을 만들고 SHAP/LIME 분석의 평균 대치와 비교한다.
• 최소한의 인과적 설명을 반복적으로 구성하고 불가성 검사를 수행하는 절차(Algorithm 1, Evidence-based Explainer)를 제공한다.
• 신용 점수 평가 및 사기 탐지 스타일의 예시와 사례 연구를 통해 접근 방식을 설명하고 시연한다.

실험 결과

연구 질문

• RQ1 시스템 결정에 대한 반사실적 설명은 모델 예측의 설명과 어떻게 다른가?
• RQ2 시스템 결정과 관련된 설명에 대한 중요도 가중 설명(SHAP, LIME 등)의 한계는 무엇인가?
• RQ3 다양한 데이터 유형과 모델에 걸쳐 맥락 의존적이고 불가역적인 설명을 제공하는 일반화된 반사실 프레임워크가 가능할까?
• RQ4 유용한 반사실적 설명을 효율적으로 탐색하고 맥락에 대한 관련성에 따라 순위를 매길 수 있는 방법은 무엇인가?

주요 결과

• 반사실적 설명은 어떤 입력이 결정에 기여했는지에 초점을 맞추어 결정 중심의 설명 프레임워크를 제공한다.
• 중요도 기반 설명은 결정에 대한 한 입력의 영향에 대해 오해를 줄 수 있는데, 예측에 대한 높은 중요도가 반드시 결정에 영향을 준다는 보장은 없다.
• 일반화된 반사실 프레임워크는 특정 모델이나 특징 유형에 묶이지 않고 임의의 데이터 유형과 다중 모델에 대해 작동한다.
• 비용/선호 함수가 있는 휴리스틱 탐색은 실무에 적합한 간결하고 실행 가능한 반사실적 설명을 생성할 수 있다.
• 반사실적 설명은 단위 비용당 점수 변화로 우선순위를 매길 수 있어 영향력과 특징 변경의 실현 가능성 사이의 균형을 이룬다.