[논문 리뷰] Explaining the Explainer: A First Theoretical Analysis of LIME

Damien Garreau, Ulrike von Luxburg|arXiv (Cornell University)|2020. 01. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 51

한 줄 요약

이 논문은 LIME의 이론적 분석을 처음으로 제시하며, 선형 타깃에 대한 폐쇄형 대리계수 표현식을 도출하고 LIME이 진짜 특징을 강조하는 조건 또는 중요한 특징을 놓칠 수 있는 조건을 밝힌다.

ABSTRACT

Machine learning is used more and more often for sensitive applications, sometimes replacing humans in critical decision-making processes. As such, interpretability of these algorithms is a pressing need. One popular algorithm to provide interpretability is LIME (Local Interpretable Model-Agnostic Explanation). In this paper, we provide the first theoretical analysis of LIME. We derive closed-form expressions for the coefficients of the interpretable model when the function to explain is linear. The good news is that these coefficients are proportional to the gradient of the function to explain: LIME indeed discovers meaningful features. However, our analysis also reveals that poor choices of parameters can lead LIME to miss important features.

연구 동기 및 목표

• 민감한 응용 분야에서 블랙박스 모델의 해석 가능성에 대한 동기를 부여한다.
• 표형(Tabular) 데이터 설정에서 선형 해석기를 위한 TabularLIME을 형식화한다.
• 도출하고 이를 설명된 함수의 기울기와 관련지은다.
• 매개변수 선택이 특징 탐지 및 대리의 충실도에 어떤 영향을 미치는지 조사한다.

제안 방법

• 유클리드 거리와 가우시안 샘플링으로 TabularLIME을 분석하고 f를 선형 함수로 모델링한다.
• 분위수 기반 구간으로 특징을 이산화하고 해석 가능 이진 특징으로 인코딩한다.
• 해 surrogate를 이진 특징들에 대한 가중 최소제곱 문제로 공식화한다.
• 기저 함수 매개변수들의 관점에서 대리 계수의 폐쇄형 표현을 도출한다.
• 대리 계수의 추정 오차 및 국소 대리 오차에 대한 확률적 경계를 제공한다.
• 대역폭 ν와 이산화가 계수 크기와 특징 선택에 미치는 영향을 논의한다.

실험 결과

연구 질문

• RQ1 LIME 대리 계수가 설명되는 인스턴스에서의 블랙박스 모델의 기울기를 반영하는가?
• RQ2 매개변수 선택으로 인해 TabularLIME이 중요한 특징을 놓칠 수 있는 조건은 무엇인가?
• RQ3 LIME 대리의 국지적 근사 오차는 어떤 것이며 샘플 크기가 증가함에 따라 어떻게 변화하는가?
• RQ4 이산화와 샘플링 설정이 해석 가능성과 설명의 견고성에 어떤 영향을 미치는가?

주요 결과

• 대리 계수는 설명된 인스턴스에서 f의 편도 미분에 비례한다.
• 충분한 샘플이 있으면 TabularLIME 계수는 이론적 값에 가까워져 진짜 특징 중요성을 반영한다.
• 대역폭 매개변수를 바꾸면 특징을 끌 수 없어 설명에서 중요한 특징이 사라질 수 있다.
• 국지적 대리 오차는 특정 상쇄가 발생하지 않는 한 일반적으로 0에서 벗어나 경계에 있다.
• 계수 비영은 예측에 영향을 주는 좌표에 대해서만 지속될 수 있으며 무관한 좌표는 0에 가까워진다.
• 해석의 견고함을 강조하지만 매개변수 선택으로 인한 잠재적 불안정성을 시사한다.