[논문 리뷰] NICE: An Algorithm for Nearest Instance Counterfactual Explanations

Dieter Brughmans, Pieter Leyman외 1명|arXiv (Cornell University)|2021. 04. 15.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

NICE는 이질적인 표본 데이터에서 100% 커버리지, 효율성, 그리고 어떤 분류 모델과도 호환되는 새로운 모델에 종속되지 않는 알고리즘으로, 반사적 설명을 생성한다. 이 알고리즘은 반복적으로 이질적인 근접 이웃의 특징을 포함시켜 반사적 설명을 생성하며, 40개의 데이터셋에서 희소성, 근접성, 타당성 측면에서 최신 기술을 능가한다.

ABSTRACT

In this paper we suggest NICE: a new algorithm to generate counterfactual explanations for heterogeneous tabular data. The design of our algorithm specifically takes into account algorithmic requirements that often emerge in real-life deployments: (1) the ability to provide an explanation for all predictions, (2) being able to handle any classification model (also non-differentiable ones), and (3) being efficient in run time. More specifically, our approach exploits information from a nearest unlike neighbour to speed up the search process, by iteratively introducing feature values from this neighbour in the instance to be explained. We propose four versions of NICE, one without optimization and, three which optimize the explanations for one of the following properties: sparsity, proximity or plausibility. An extensive empirical comparison on 40 datasets shows that our algorithm outperforms the current state-of-the-art in terms of these criteria. Our analyses show a trade-off between on the one hand plausibility and on the other hand proximity or sparsity, with our different optimization methods offering users the choice to select the types of counterfactuals that they prefer. An open-source implementation of NICE can be found at https://github.com/ADMAntwerp/NICE.

연구 동기 및 목표

• 신용 평가 및 사기 탐지와 같은 고위험 분야에서 실시간 구현에 적합한 효율적이고 모델에 종속되지 않는 반사적 설명 알고리즘이 부족한 문제를 해결한다.
• 기존 방법이 일부 인스턴스에 대해 설명을 생성하지 못하는 한계를 극복하여 모든 예측을 설명 가능하게 한다.
• 관세 또는 대출 심사와 같은 고속 처리 환경에서 실시간 의사결정을 지원하기 위해 계산 효율성을 확보한다.
• 희소성, 근접성 또는 타당성에 최적화된 사용자 정의 가능한 반사적 설명을 제공하여, 상호보완적 선택이 가능한 설명을 가능하게 한다.
• 비미분 가능 모델과 이질적인 표본 데이터를 다룰 수 있도록 하여 실용적 적용 범위를 넓힌다.

제안 방법

• 해당 인스턴스를 설명하기 위해 가장 가까운 이질적 이웃(반대 클래스에 속하는 올바르게 분류된 인스턴스)에서 반사적 설명 탐색을 시작하며, 이 인스턴스의 근접성을 활용한다.
• 한 번에 한 특징씩, 설명이 필요한 인스턴스의 특징 값을 가장 가까운 이질적 이웃의 값으로 교체함으로써 반복적으로 수정한다.
• 클래스 전환을 유도하는 최소한의 특징 변경 조합을 탐색하기 위해 탐욕적이고 반복적인 접근 방식을 사용하여 효율성과 수렴성을 확보한다.
• 네 가지 NICE 변형을 구현한다: 기본 버전과 희소성, 근접성, 타당성을 최적화한 세 가지 변형으로, 각각 맞춤형 보상 함수를 사용한다.
• 원래 인스턴스에 존재하는 특징들만 대체하여 타당성을 확보하고, 비현실적인 변경을 방지한다.
• 다중 클래스 설정으로 일반화하기 위해 보상 함수를 다중 클래스 타겟을 처리할 수 있도록 수정하여 전체 커버리지를 유지한다.

실험 결과

연구 질문

• RQ1 실제 운영 환경에서 반사적 설명 알고리즘이 모든 예측에 대해 100% 커버리지를 달성할 수 있는가?
• RQ2 관세 또는 신용 평가와 같은 고속 처리 응용 분야에서 반사적 생성을 효율적이고 확장 가능하게 만들 수 있는가?
• RQ3 희소성, 근접성, 타당성 간의 상호보완적 관계는 무엇이며, 사용자가 이 균형을 제어할 수 있는가?
• RQ4 모델에 종속되지 않는 알고리즘이 비미분 가능 모델과 이질적인 표본 데이터에서 고품질의 반사적 설명을 생성할 수 있는가?
• RQ5 다양한 평가 지표, 특히 문헌에서 제시된 대체 근접성 및 타당성 측정 기준을 사용했을 때 NICE는 최신 기술 대비 어떻게 비교되는가?

주요 결과

• NICE는 40개의 다양한 데이터셋에서 희소성, 근접성, 타당성의 세 가지 핵심 목표에서 기존 최신 기술보다 뛰어난 성능을 보였다.
• 희소성과 근접성 사이에 강한 상관관계가 존재하여, 반사적 생성의 주요 상호보완적 관계는 이 두 성질과 타당성 간의 균형임을 시사한다.
• 100% 커버리지를 달성하여, 특히 부정 예측을 받은 인스턴스들까지도 모두 설명 가능하게 하여 법적 및 운영적 요구사항을 충족시킨다.
• 문헌에서 제시된 대체 근접성 및 타당성 측정 기준으로 평가했을 때도 NICE는 뛰어난 성능을 유지하여 강건성을 입증했다.
• NICE의 다양한 최적화 변형을 통해 사용자는 자신의 필요에 맞는 설명을 선택할 수 있으며, 예를 들어 최소한의 특징 변경(희소성), 원래 인스턴스에 가까운 변경(근접성), 또는 현실적이고 타당한 변경(타당성)을 선택할 수 있다.
• 실험 결과 NICE가 계산적으로 효율적이며, 고용량 의사결정 시스템에서 실시간 구현에 적합함을 확인했다.