[논문 리뷰] GLIME: General, Stable and Local LIME Explanation

Zeren Tan, Yang Tian외 1명|arXiv (Cornell University)|2023. 11. 27.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

GLIME은 샘플링 분포를 통합하여 안정성과 로컬 정확도를 개선하고, 다양한 분포에 대해 더 빠른 수렴과 기준점에 의존하지 않는 설명을 제공하며 LIME을 일반화합니다.

ABSTRACT

As black-box machine learning models grow in complexity and find applications in high-stakes scenarios, it is imperative to provide explanations for their predictions. Although Local Interpretable Model-agnostic Explanations (LIME) [22] is a widely adpoted method for understanding model behaviors, it is unstable with respect to random seeds [35,24,3] and exhibits low local fidelity (i.e., how well the explanation approximates the model's local behaviors) [21,16]. Our study shows that this instability problem stems from small sample weights, leading to the dominance of regularization and slow convergence. Additionally, LIME's sampling neighborhood is non-local and biased towards the reference, resulting in poor local fidelity and sensitivity to reference choice. To tackle these challenges, we introduce GLIME, an enhanced framework extending LIME and unifying several prior methods. Within the GLIME framework, we derive an equivalent formulation of LIME that achieves significantly faster convergence and improved stability. By employing a local and unbiased sampling distribution, GLIME generates explanations with higher local fidelity compared to LIME. GLIME explanations are independent of reference choice. Moreover, GLIME offers users the flexibility to choose a sampling distribution based on their specific scenarios.

연구 동기 및 목표

• 블랙박스 모델에서 LIME의 불안정성과 낮은 로컬 정확도를 설명한다.
• 선행 방법들을 통합하는 일반적인 로컬 설명 프레임워크로서 Glime을 도입한다.
• 빠른 수렴성과 향상된 안정성을 갖는 등가 LIME 구성(Glime-Binomial)을 도출한다.
• Glime이 참조점에 의존하지 않는 로컬의 편향되지 않은 샘플링을 가능하게 한다는 것을 입증한다.
• Glime의 샘플링 분포 설계가 특정 작업과 목표에 맞게 조정될 수 있음을 보여준다.

제안 방법

• 입력으로부터 도출된 특징 공간에서 작동하는 일반적인 로컬 설명 프레임워크로서 Glime을 정의한다.
• 특징 공간에서 분포 P로부터 샘플을 뽑아 가중 손실 최소화를 통해 설명을 공식화한다.
• 가중화 함수를 사용하지 않는 등가 공식화를 변형된 샘플링 분포를 사용해 제공하여 더 빠른 수렴을 가능하게 한다.
• 수렴 속도를 높이면서 LIME과의 등가를 보존하는 이항 샘플링 분포를 사용하여 Glime을 Glime-Binomial로 특수화한다.
• Glime이 KernelSHAP, SmoothGrad, Gradient, DLIME, ALIME와 같은 방법들을 하나의 프레임워크로 통합한다는 것을 보여준다.
• Glime-Gauss, Glime-Laplace, Glime-Uniform과 같은 변형을 로컬 샘플링 분포의 예로 탐구한다.

실험 결과

연구 질문

• RQ1 LIME의 불안정성이 어떻게 발생하고 이를 통합 프레임워크 내에서 어떻게 완화할 수 있는가?
• RQ2 일반적인 로컬 설명 프레임워크가 기존 방법들(LIME, KernelSHAP, SmoothGrad, Gradient, DLIME, ALIME)을 하나로 통합하고 개선할 수 있는가?
• RQ3 샘플링 분포에 가중화를 통합하는 것(Glime-Binomial)이 로컬 정확도를 희생하지 않으면서 더 빠른 수렴과 더 나은 안정성을 제공하는가?
• RQ4 로컬이고 편향되지 않은 샘플링 분포를 채택함으로써 설명을 참조점 선택과 무관하게 만들 수 있는가?
• RQ5 실무자들이 Glime의 샘플링 분포를 특정 사용 사례에 맞게 조정하여 안정성과 정확도를 최적화할 수 있는가?

주요 결과

• Glime-Binomial은 정규화 하에 LIME보다 지수적으로 더 빠르게 수렴한다.
• Glime은 서로 다른 샘플링 분포 및 설정에서 더 안정적인 설명을 제공한다.
• Glime은 참조점에 의존하지 않는 로컬의 편향되지 않은 샘플링 분포를 사용함으로써 더 높은 로컬 정확도를 달성한다.
• Glime은 단일 프레임워크 내에서 여러 선행 방법을 일반화하고 통합한다.
• Glime은 적용 필요에 맞게 샘플링 분포를 선택하는 유연성을 제공한다(예: Glime-Gauss, Glime-Laplace, Glime-Uniform).
• Glime은 참조점 선택에 대한 의존성을 줄여 설명의 강건성을 향상시킨다.