[논문 리뷰] LIMEtree: Consistent and Faithful Surrogate Explanations of Multiple Classes

Kacper Sokol, Peter Flach|arXiv (Cornell University)|2020. 05. 04.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

LIMEtree는 다중 클래스 설명을 위한 일관된 새로운 패러다임을 제안한다. 이는 다중 출력 회귀 트리를 기반으로 한 후행적이고 모델에 종속되지 않는 대체 모델을 사용하며, 높은 정밀도를 달성하고 상호작용 가능하며 사용자 정의가 가능한 설명—특히 반사적 설명을 포함—을 제공하여 LIME보다 설명의 품질과 일관성에서 뛰어나다.

ABSTRACT

Explainable artificial intelligence provides tools to better understand predictive models and their decisions, but many such methods are limited to producing insights with respect to a single class. When generating explanations for several classes, reasoning over them to obtain a comprehensive view may be difficult since they can present competing or contradictory evidence. To address this challenge we introduce the novel paradigm of multi-class explanations. We outline the theory behind such techniques and propose a local surrogate model based on multi-output regression trees -- called LIMEtree -- that offers faithful and consistent explanations of multiple classes for individual predictions while being post-hoc, model-agnostic and data-universal. On top of strong fidelity guarantees, our implementation delivers a range of diverse explanation types, including counterfactual statements favoured in the literature. We evaluate our algorithm with respect to explainability desiderata, through quantitative experiments and via a pilot user study, on image and tabular data classification tasks, comparing it to LIME, which is a state-of-the-art surrogate explainer. Our contributions demonstrate the benefits of multi-class explanations and wide-ranging advantages of our method across a diverse set of scenarios.

연구 동기 및 목표

• 기존의 XAI 방법에서 다중 클래스 간 일관되고 조화로운 설명이 부족한 문제를 해결한다.
• 단일 대체 모델을 통해 다중 클래스에 대한 통합된 설명 프레임워크를 개발한다.
• 높은 정밀도와 일관성을 확보하면서도 상호작용 가능한 사용자 정의 기능을 지원한다.
• 한 개의 공통된 설명 맥락 내에서 다양한 유형의 설명, 특히 반사적 설명을 포함하도록 한다.
• 정량적, 정성적 평가 및 사용자 연구를 통해 본 방법의 우수성을 입증한다.

제안 방법

• 다중 클래스 설명을 위한 고유한 최적화 목표를 제안하여 예측 간 일관성을 보장한다.
• 다중 출력 회귀 트리(즉, LIMEtree)를 기반으로 한 局부 대체 모델을 활용하여 프레임워크를 실현한다.
• 다중 클래스의 예측을 동시에 모델링하는 대체 트리를 구성하여 클래스 간 관계를 유지한다.
• 로컬 이웃 내에서 대체 모델의 예측이 원래 블랙박스 모델의 행동을 정확히 반영하도록 하여 정밀도를 확보한다.
• 사용자가 지정한 히وري스틱을 통해 설명 생성을 유도할 수 있도록 상호작용 가능한 사용자 정의를 지원한다.
• 대체 트리의 구조를 분석하여 다양한 설명 유형—특히 반사적 설명—을 추출할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 단일 대체 모델이 동시에 여러 클래스에 대해 일관되고 정밀한 설명을 생성할 수 있는가?
• RQ2 LIMEtree의 정밀도와 일관성은 다중 클래스 예측 환경에서 LIME에 비해 어떻게 비교되는가?
• RQ3 LIMEtree는 얼마나 높은 수준의 상호작용 및 사용자 정의 가능한 설명 생성을 지원하는가?
• RQ4 LIMEtree의 다중 클래스 설명은 단일 클래스 설명에 비해 이해 가능성과 신뢰도 측면에서 어떻게 비교되는가?
• RQ5 다중 클래스 설명의 다양성은 사용자가 투명성과 모델 이해도를 어떻게 평가하는지에 어떤 영향을 미치는가?

주요 결과

• LIMEtree는 블랙박스 모델의 행동을 다중 클래스에 걸쳐 정확히 근사화함으로써 높은 정밀도를 달성하며, 특정 경우에서는 완전한 정밀도를 확보한다.
• 이 방법은 독립적인 단일 클래스 설명에서 발생하는 모순을 피하면서도 다중 클래스 간 일관된 설명을 생성한다.
• LIMEtree는 대체 트리의 구조를 체계적으로 분석함으로써 반사적 설명을 포함한 다양한 설명 유형을 지원한다.
• 정량적 실험 결과, LIMEtree는 이미지 분류 작업에서 LIME보다 정밀도와 설명 품질 측면에서 뛰어나다.
• 초기 사용자 연구 결과에 따르면, 다중 클래스 설명은 투명성을 높이고 단일 클래스 설명 대비 더 정보가 풍부하다고 평가된다.
• 상호작용 가능한 사용자 정의 기능의 통합은 사용자가 설명을 탐색하고 개인화할 수 있도록 하여 해석 가능성과 사용자 참여도를 향상시킨다.