[논문 리뷰] Model-Agnostic Counterfactual Explanations for Consequential Decisions

Amir-Hossein Karimi, Gilles Barthe외 2명|arXiv (Cornell University)|2019. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 85

한 줄 요약

MACE를 도입하는 것으로, 모든 예측기를 위한 가장 가까운, 그럴듯하고 다양한 반사실적 설명을 생성하는 모델-무관한(method-agnostic) 방법으로, 시퀀스의 SMT 만족성 문제를 풀어 100% 커버리지를 달성하고 이전 연구보다 더 근접한 반사실적 설명을 제공합니다.

ABSTRACT

Predictive models are being increasingly used to support consequential decision making at the individual level in contexts such as pretrial bail and loan approval. As a result, there is increasing social and legal pressure to provide explanations that help the affected individuals not only to understand why a prediction was output, but also how to act to obtain a desired outcome. To this end, several works have proposed optimization-based methods to generate nearest counterfactual explanations. However, these methods are often restricted to a particular subset of models (e.g., decision trees or linear models) and differentiable distance functions. In contrast, we build on standard theory and tools from formal verification and propose a novel algorithm that solves a sequence of satisfiability problems, where both the distance function (objective) and predictive model (constraints) are represented as logic formulae. As shown by our experiments on real-world data, our algorithm is: i) model-agnostic ({non-}linear, {non-}differentiable, {non-}convex); ii) data-type-agnostic (heterogeneous features); iii) distance-agnostic ($\ell_0, \ell_1, \ell_\infty$, and combinations thereof); iv) able to generate plausible and diverse counterfactuals for any sample (i.e., 100% coverage); and v) at provably optimal distances.

연구 동기 및 목표

• 중대한 결정(예: 보석 결정, 대출)에서 설명의 필요성과 기존 방법의 한계를 제시한다.
• 보장된 근접 반사실적을 생성하기 위한 모델-독립적 접근법인 MACE를 제안한다.
• 그럴듯함과 다양성을 보장하면서 이질적인 특성 공간과 임의의 거리 척도를 처리한다.
• SMT 형식하에서 증명 가능한 최적 거리의 반사실적을 산출하는 확장 가능한 워크플로를 제공한다.
• 전체 커버리지 보장을 갖춘 실제 데이터셋에서의 실용적 효과를 입증한다.

제안 방법

• 모델, 거리, 그럴듯함, 다양성 제약을 논리식으로 인코딩하여 최근접 반사실적 문제를 일련의 만족도 문제로 표현한다.
• 다양한 모델 클래스(예: 의사결정 트리, MLP)에 대해 f(x)=y를 포착하기 위해 모델의 특성 공식을 사용한다(프로그램 표현으로 구성).
• 거리 함수와 그럴듯함/다양성 제약을 SMT 친화적 프로그램으로 표현하여 모델- 및 거리-무관 최적화를 가능하게 한다.
• 거리 임계값 delta에 대한 이진 탐색을 적용하여 근접 반사실적을 제어 가능한 정확도로 근사하고, 가능성 판단을 위해 SMT 오라클을 활용한다.
• 여러 반사실적 간의 최소 거리를 강제하는 제약을 추가하여 다양성을 허용한다.
• 수치형, 범주형, 서수형 등의 이질적 데이터 타입을 지원하고 각 특성 변화의 정규화 및 L0, L1, Linf 노름의 결합을 통해 거리 지표를 제공한다.

실험 결과

연구 질문

• RQ1 모델-독립적인 방식으로 중대한 결정에 대한 반사실적 설명을 어떻게 생성할 수 있는가?
• RQ2 일반적인 거리 척도에서 최적성을 보장하는 근접 반사실적을 SMT 솔버로 찾을 수 있는가?
• RQ3 그럴듯함과 다양성 제약이 반사실적의 품질과 feasibility에 어떤 영향을 미치는가?
• RQ4 MACE는 실제 데이터셋에서 커버리지와 거리 면에서 기존 접근법과 비교해 어떠한 성능을 보이는가?
• RQ5 실현 가능성 제약(그럴듯함)과 결과 반사실적 거리 간의 trade-off 는 무엇인가?

주요 결과

• MACE는 평가된 인스턴스에 대해 설계상 100% 커버리지를 달성한다.
• MACE는 데이터셋(Adult, Credit, COMPAS) 전반에서 이전 방법들보다 더 근접한 반사실적을 산출한다.
• 기준선과 비교한 평균 거리 감소는 각각 70.2%(Adult), 75.4%(Credit), 21.1%(COMPAS)에 달한다.
• MACE는 이질적 특성 공간과 임의의 거리 조합(L0, L1, L∞)을 최적거리 보장과 함께 지원한다.
• 그럴듯함 제약(예: 나이와 같은 불변 특성의 비변경)을 도입하면 거리 증가가 발생하나, 특히 L1 및 L∞ 노름 하에서도 설명의 실현 가능성과 정책 준수를 보존한다.
• 이 방법은 100% 커버리지를 제공하고 다양성 제약을 도입함으로써 다양한 반사실적을 생성할 수 있다.