[논문 리뷰] GeCo: Quality Counterfactual Explanations in Real Time

Maximilian Schleich, Zixuan Geng외 2명|arXiv (Cornell University)|2021. 01. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 33인용 수 13

한 줄 요약

GeCo는 두 가지 핵심 최적화 기법인 Δ-표현 방식과 분류기의 부분 평가를 적용한 맞춤형 유전 알고리즘을 사용하여 실시간으로 고품질, 실행 가능하고 타당한 역설적 설명을 생성하는 시스템이다. 이는 다섯 개의 기존 시스템보다 낮은 지연 시간과 높은 품질의 설명을 동시에 달성하여 인터랙티브 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Machine learning is increasingly applied in high-stakes decision making that directly affect people's lives, and this leads to an increased demand for systems to explain their decisions. Explanations often take the form of counterfactuals, which consists of conveying to the end user what she/he needs to change in order to improve the outcome. Computing counterfactual explanations is challenging, because of the inherent tension between a rich semantics of the domain, and the need for real time response. In this paper we present GeCo, the first system that can compute plausible and feasible counterfactual explanations in real time. At its core, GeCo relies on a genetic algorithm, which is customized to favor searching counterfactual explanations with the smallest number of changes. To achieve real-time performance, we introduce two novel optimizations: $Δ$-representation of candidate counterfactuals, and partial evaluation of the classifier. We compare empirically GeCo against five other systems described in the literature, and show that it is the only system that can achieve both high quality explanations and real time answers.

연구 동기 및 목표

• 고위험 기계학습 결정에서 실시간으로 고품질, 실행 가능하고 타당한 역설적 설명을 생성하는 데 있어 핵심 과제를 해결하기 위해.
• 실제 운영 환경에서 상호작용 성능이 요구되는 상황에서 풍부한 의미적 제약(타당성, 실행 가능성)과의 갈등을 해결하기 위해.
• 낮은 지연 시간 응답을 유지하면서도 복잡한 실제 세계의 제약 조건을 충족하는 시스템을 설계하기 위해.
• 도메인 특화 규칙, 사회적 관습, GDPR과 같은 법적 요구 사항을 반영한 실질적이고 사용자 친화적인 설명을 가능하게 하기 위해.
• 다양한 구조적 데이터 및 모델 유형에 적용 가능한 확장성 있고 일반적인 솔루션을 제공하기 위해.

제안 방법

• GeCo는 기능 변경 수가 가장 적은 역설적 설명을 우선시하는 맞춤형 유전 알고리즘을 사용하여 실행 가능성과 타당성을 향상시킨다.
• Δ-표현 방식을 도입하여 원본 인스턴스에서의 차이로 후보 역설적 설명을 압축적으로 표현함으로써 메모리 및 계산 오버헤드를 감소시킨다.
• 분류기의 부분 평가를 적용하여 후보 인스턴스 간에 공유되는 모델 구성 요소를 반복적으로 재평가하는 것을 방지함으로써 적합도 평가 속도를 향상시킨다.
• 일반적인 제약 조건 언어(PLAF)를 통합하여 도메인 특화 규칙(예: 연령은 증가만 가능함)과 기능 간 논리적 의존성 등을 표현한다.
• 기능 그룹화와 제약 조건의 함의 해소를 통해 검색 공간을 추가로 축소하고 수렴 속도를 향상시킨다.
• 동적 제약 조건 검증을 액션 캐스케ading 방식으로 수행하여 정확성을 유지하면서도 성능 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 복잡한 도메인 제약 조건 하에서도 실시간으로 고품질, 실행 가능하고 타당한 역설적 설명을 생성할 수 있는가?
• RQ2 해결 품질을 훼손하지 않으면서도 역설적 설명의 검색 공간을 효율적으로 축소할 수 있는가?
• RQ3 의미적 충실도를 유지하면서도 유전 알고리즘의 역설적 설명 탐색 속도를 가속화하는 데 가장 효과적인 최적화는 무엇인가?
• RQ4 제약 기반 필터링이 런타임 오버헤드를 크게 유발하지 않으면서 성능 향상에 얼마나 기여하는가?
• RQ5 풍부한 의미적 정보와 상호작용 성능 사이의 균형을 유지할 수 있는가? 이는 기존 접근 방식이 단지 둘 중 하나에만 중점을 두는 것과 대비된다.

주요 결과

• 평가된 다섯 개 시스템 중에서 GeCo만이 실시간 성능와 고품질의 역설적 설명을 동시에 달성했으며, MACE, What-If Tool, DiCE, CERTIFAI보다 속도와 해결 품질 면에서 모두 뛰어난 성능을 보였다.
• 모든 12개의 기능을 변경해야 하는 경우에도 GeCo는 일관되게 유효한 역설적 설명을 찾을 수 있었으며, 런타임은 변경 수에 비례하여 선형적으로 증가했다.
• Δ-표현 방식은 단순 나열 방식 대비 후보 집단 크기를 최대 60배까지 감소시켜 메모리 효율성과 검색 속도를 크게 향상시켰다.
• 부분 평가와 제약 조건 필터링은 크레딧 데이터셋에서 최대 32.3%의 성능 향상을 기록했으며, 모든 제약 조건을 적용했을 때 어덜트 데이터셋에서는 18.7%, 크레딧 데이터셋에서는 9.8%의 전체 속도 향상이 있었다.
• 함의를 포함한 제약 조건의 통합은 약간의 오버헤드를 유발하지만, 제약 조건이 없는 경우보다 더 빠른 수렴 속도를 보여, 효과적인 트레이드오���을 입증했다.
• 변이 과정에서 더 많은 값을 샘플링함으로써 GeCo는 최적의 설명과의 거리 격차를 줄였고, 성능 저하도 미미하여 강력한 확장성과 적응성을 입증했다.