[논문 리뷰] Natural Example-Based Explainability: a Survey

Antonin Poché, Lucas Hervier외 1명|arXiv (Cornell University)|2023. 09. 05.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 종합적 서베이는 생성 과정을 거치지 않은 실제 학습 데이터 예시를 사용하여 모델 결정을 설명하는 비생성적 방법에 초점을 맞춘 자연 예시 기반 해석 가능성에 대한 포괄적인 분석을 제시한다. 유사 예시, 역설적 사례, 반사적 사례, 영향력 있는 인스턴스, 프로토타입, 개념의 다섯 가지 형식을 평가하며, 이들의 의미 정의, 인지적 영향, 그리고 모델 해석 가능성과 사용자 신뢰도 향상에 기여하는 실용적 이점을 강조한다.

ABSTRACT

Explainable Artificial Intelligence (XAI) has become increasingly significant for improving the interpretability and trustworthiness of machine learning models. While saliency maps have stolen the show for the last few years in the XAI field, their ability to reflect models' internal processes has been questioned. Although less in the spotlight, example-based XAI methods have continued to improve. It encompasses methods that use examples as explanations for a machine learning model's predictions. This aligns with the psychological mechanisms of human reasoning and makes example-based explanations natural and intuitive for users to understand. Indeed, humans learn and reason by forming mental representations of concepts based on examples. This paper provides an overview of the state-of-the-art in natural example-based XAI, describing the pros and cons of each approach. A "natural" example simply means that it is directly drawn from the training data without involving any generative process. The exclusion of methods that require generating examples is justified by the need for plausibility which is in some regards required to gain a user's trust. Consequently, this paper will explore the following family of methods: similar examples, counterfactual and semi-factual, influential instances, prototypes, and concepts. In particular, it will compare their semantic definition, their cognitive impact, and added values. We hope it will encourage and facilitate future work on natural example-based XAI.

연구 동기 및 목표

• 생성 과정 없이 실제 학습 데이터를 직접 활용하는 자연 예시 기반 해석 가능성 방법의 체계적 개요 제공.
• 인간의 추론 메커니즘과 일치하는 예시 기반 설명의 인지적 및 심리학적 타당성 분석.
• 다섯 가지 핵심 형식인 유사 예시, 역설적 사례, 반사적 사례, 영향력 있는 인스턴스, 프로토타입, 개념의 의미 정의, 인지적 영향, 실용적 이점 비교.
• 색소 맵의 한계를 부각하고, 더 직관적이고 신뢰할 수 있는 대안으로 예시 기반 방법을 권장.
• 최신 기술, 분류 체계, 열린 과제를 명확히 하여 향후 연구 유도.

제안 방법

• 예시 기반 해석 가능성의 다섯 가지 의미적 형식으로 분류: 유사 예시(사실적 사례), 역설적 사례, 반사적 사례, 영향력 있는 인스턴스, 프로토타입, 개념.
• 각 방법을 의미 정의(질의 및 결정 경계와의 관계), 인지적 영향(사용자가 어떻게 해석하는지), 추가 가치(신뢰도, 결정 경계 통찰 등) 기준으로 평가.
• 생성 과정 없이 실제 학습 데이터에서 직접 추출된 자연 예시에만 집중하여 타당성과 사용자 신뢰도 확보.
• 문헌에서 100개 이상의 방법을 검토하여 모델 유형, 해석 가능성 유형, 요구 조건 등의 메타데이터를 포함한 비교 표(Table 1)로 정리.
• 로컬/글로벌, 사후적/내재적, 블랙박스/화이트박스, 설명 형식의 네 가지 차원을 기반으로 분류 체계 수립.
• 각 방법을 가능하게 하는 유사도 측정 기준(예: 유클리드 거리, 코사인 유사도)과 모델 접근 방식(기울기, 체크포인트 등)의 역할 분석.

Figure 1: Natural example-based explanation formats w.r.t the studied sample (or query) and the decision boundary. We can see similar examples are the closest elements to the query, while counterfactuals and semi-factual are on either side of the point of the decision boundary the closest to the que

실험 결과

연구 질문

• RQ1 예를 들어 역설적 사례, 프로토타입 등 자연 예시 기반 형식은 의미적 의미와 사용자 인지적 영향에서 어떻게 다릅니까?
• RQ2 왜 자연(생성되지 않은) 예시가 생성된 예시나 색소 맵보다 더 신뢰할 수 있고 직관적인가요?
• RQ3 다양한 모델 유형과 작업에서 모델 결정을 설명하는 데 있어 각 예시 기반 형식의 주요 장점과 한계는 무엇입니까?
• RQ4 영향력 있는 인스턴스와 프로토타입은 국소 예측을 넘어서 모델 행동을 이해하는 데 어떻게 기여합니까?
• RQ5 자연 예시 기반 해석 가능성 방법의 개발 및 평가에서 아직 남아 있는 과제와 연구 격차는 무엇입니까?

주요 결과

• 사용자 신뢰도와 해석 가능성 면에서 색소 맵보다 자연 예시 기반 해석 가능성 방법이 뛰어나며, 이는 예시가 인간의 예시 기반 학습 인지 메커니즘과 일치하기 때문이다.
• 유사 예시(사실적 사례)는 국소적 신뢰도 및 잘못된 분류 진단에 가장 효과적이지만, 질의의 즉각적인 주변부에 국한된다.
• 역설적 사례와 반사적 사례는 결정 경계에 대한 보완적 통찰을 제공하며, 특히 예측을 뒤집는 데 필요한 최소한의 변화를 보여준다.
• 영향력 있는 인스턴스는 모델 예측을 가장 크게 변화시키는 학습 샘플을 특정하여, 모델 재학습 없이도 데이터 기반 모델 행동을 이해하는 데 기여한다.
• 프로토타입과 개념은 각각 클래스 표현과 특징 수준의 의미를 전반적으로 이해하는 데 기여하며, 특히 조밀한 데이터 영역에서는 프로토타입이 매우 효과적이다.
• 이 서베이에서는 표준화된 평가 프로토콜의 부족과 다양한 예시 형식의 인지적 영향을 검증하는 사용자 연구의 부족을 지적한다.

Figure 2: Illustration of factuals, SF, and CF from Kenny and Keane [ 62 ] . The factual makes us understand the misclassification, while SF and CF show us how far or close the decision boundary is. Min-edit represents the AP, as differences are not visible.