[논문 리뷰] Which Explanation Should I Choose? A Function Approximation Perspective to Characterizing Post Hoc Explanations

Tessa Han, Suraj Srinivas외 1명|arXiv (Cornell University)|2022. 06. 02.

Explainable Artificial Intelligence (XAI)인용 수 28

한 줄 요약

본 논문은 지역 함수 근사(local function approximation) 프레임워크 아래 여덟 가지 인기 있는 post hoc 설명 방법을 통합하고, 설명에 대한 no free lunch 이론을 증명하며, 블랙 박스 모델에 대한 충실성에 기반한 방법 선택을 위한 원칙 있는 가이드라인을 제시한다.

ABSTRACT

A critical problem in the field of post hoc explainability is the lack of a common foundational goal among methods. For example, some methods are motivated by function approximation, some by game theoretic notions, and some by obtaining clean visualizations. This fragmentation of goals causes not only an inconsistent conceptual understanding of explanations but also the practical challenge of not knowing which method to use when. In this work, we begin to address these challenges by unifying eight popular post hoc explanation methods (LIME, C-LIME, KernelSHAP, Occlusion, Vanilla Gradients, Gradients x Input, SmoothGrad, and Integrated Gradients). We show that these methods all perform local function approximation of the black-box model, differing only in the neighbourhood and loss function used to perform the approximation. This unification enables us to (1) state a no free lunch theorem for explanation methods, demonstrating that no method can perform optimally across all neighbourhoods, and (2) provide a guiding principle to choose among methods based on faithfulness to the black-box model. We empirically validate these theoretical results using various real-world datasets, model classes, and prediction tasks. By bringing diverse explanation methods into a common framework, this work (1) advances the conceptual understanding of these methods, revealing their shared local function approximation objective, properties, and relation to one another, and (2) guides the use of these methods in practice, providing a principled approach to choose among methods and paving the way for the creation of new ones.

연구 동기 및 목표

• 사후 설명 간 공통 기반의 필요성을 제기한다.
• 다양한 방법을 포섭하는 지역 함수 근사 프레임워크를 형식화한다.
• 설명에 대한 no free lunch 이론을 확립하고 지침 선택 원칙을 도출한다.
• 실제 데이터 집합과 모델에 대해 이론적 주장을 경험적으로 검증한다.

제안 방법

• 사후 설명을 지역 대리자로 유니파이하기 위해 지역 함수 근사(LFA)를 정의한다.
• 여덟 가지 방법(LIME, C-LIME, KernelSHAP, Occlusion, Vanilla Gradients, Gradient x Input, SmoothGrad, Integrated Gradients)이 서로 다른 이웃과 손실로 LFA에 매핑됨을 보인다.
• 그레이디언트 매칭 손실을 도입하여 그레이디언트 기반 방법과 LFA를 연결하고 특정 노이즈 모델에서 기존 방법과의 등가성을 입증한다.
• 설명 방법에 대한 no free lunch 이론을 증명하여 모든 이웃에서 어느 하나의 방법도 최적이 아님을 보인다.
• 블랙박스 모델이 해석 가능한 클래스에 속할 때 방법을 충실성으로 선택하는 모델 회복(guiding) 원칙을 제안한다.
• 네 가지 LFA 구성 요소(G, Z, l, ⊕)를 구성하여 새로운 설명을 설계하기 위한 설계 지침을 제공한다.

실험 결과

연구 질문

• RQ1 여덟 가지 인기 있는 설명 방법이 공통의 로컬 함수 근사 목표를 공유하는가?
• RQ2 어떤 조건에서 설명 방법이 블랙박스 모델을 회복할 수 있으며, 설명에 대한 no free lunch가 존재하는가?
• RQ3 모델에 대한 충실성과 선택된 이웃에 기반하여 실무자가 어떤 방법으로 설명을 선택해야 하는가?
• RQ4 LFA 프레임워크가 새로운 맥락의 설명 설계에 어떻게 가이드를 줄 수 있는가?

주요 결과

• 여덟 가지 방법 모두 이웃과 손실 함수의 차이가 있더라도 지역 함수 근사를 수행한다.
• 설명에 대한 no free lunch 정리가 존재한다: 모든 이웃에서 단일 방법이 최적은 아니다.
• 모델 회복 가이드 원칙이 제안된다: 해석 가능한 클래스에 속하는 블랙박스 모델을 복원할 수 있다면 설명은 충실하다.
• 실험적 결과는 추가적 연속 노이즈 방법이 실제 모델 회복과 일치하는 반면, 곱셈형/노이즈 방법은 대신 그래디언트 스케일링 형태를 회복할 수 있음을 시사한다.
• 프레임워크는 방법이 기존 접근과 정렬되는 시점과 LFA 구성 요소를 변화시켜 새로운 설명을 설계하는 방법을 설명한다.