[논문 리뷰] Looking Deeper into Tabular LIME

Damien Garreau, Ulrike von Luxburg|arXiv (Cornell University)|2020. 08. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 10

한 줄 요약

이 논문은 표본 수가 무한해질 경우, Tabular LIME의 해석 가능한 계수들이 모델 파라미터와 블랙박스 모델에 대한 기대값의 함수로 명시적으로 계산될 수 있음을 이론적으로 분석한다. 이는 선형 함수나 희소 함수의 경우 LIME이 관련 기능을 올바르게 식별하지만, CART 숲과 같은 분할 기반 모델에서는 잘못된 아티팩트를 생성한다는 것을 보여준다.

ABSTRACT

In this paper, we present a thorough theoretical analysis of the default implementation of LIME in the case of tabular data. We prove that in the large sample limit, the interpretable coefficients provided by Tabular LIME can be computed in an explicit way as a function of the algorithm parameters and some expectation computations related to the black-box model. When the function to explain has some nice algebraic structure (linear, multiplicative, or sparsely depending on a subset of the coordinates), our analysis provides interesting insights into the explanations provided by LIME. These can be applied to a range of machine learning models including Gaussian kernels or CART random forests. As an example, for linear functions we show that LIME has the desirable property to provide explanations that are proportional to the coefficients of the function to explain and to ignore coordinates that are not used by the function to explain. For partition-based regressors, on the other side, we show that LIME produces undesired artifacts that may provide misleading explanations.

연구 동기 및 목표

• 표본 데이터의 맥락에서 Tabular LIME의 기본 구현에 대한 엄밀한 이론적 기반을 제공하는 것.
• 선형 함수나 곱셈 함수와 같은 단순하고 해석 가능한 모델에 대해 LIME의 설명이 수학적으로 타당한지 조사하는 것.
• 블랙박스 모델이 사용하지 않는 특성에 대해 LIME이 반드시 무시하는지 확인하는 것.
• LIME이 잘못된 또는 허위의 설명을 생성하는 경우를 식별하는 것.
• 기존 접근법의 이론적 한계를 드러내어 더 나은 해석 가능성 방법 설계를 이끌어내는 것.

제안 방법

• 블랙박스 모델에 대한 기대값 계산을 통해 대규모 표본 근사에서 Tabular LIME의 해석 가능한 계수에 대한 명시적 공식을 유도한다.
• 해석할 인스턴스 주변의 국소적 편향을 정의하기 위해 가우시안 커널 기반의 가중치 부여 방식을 사용한다.
• 특성 간의 독립성을 활용하여 가중치가 부여된 모델 출력의 기대값을 계산하기 위해 통계학적 학습 이론을 적용한다.
• 정규화 상수를 도입하고 이를 통해 선형 근사에서 계수 계산을 단순화한다.
• 블랙박스 함수에 대한 구조적 가정(예: 선형성, 희소성, 곱셈적 구조) 하에서 LIME의 행동을 분석한다.
• 이론적 예측을 실증 실험을 통해 검증하여 관찰된 행동과 밀도 있는 일치를 보인다.

실험 결과

연구 질문

• RQ1 블랙박스 모델이 선형인 경우, Tabular LIME는 진짜 기능 함수의 계수에 비례하는 설명을 생성하는가?
• RQ2 블랙박스 모델의 출력에 영향을 주지 않는 특성에 대해 Tabular LIME가 반드시 0인 계수를 할당하는가?
• RQ3 블랙박스 모델이 CART 숲과 같은 분할 기반 회귀기인 경우 LIME의 설명은 어떻게 되는가?
• RQ4 알고리즘의 파라미터(예: 대역폭 ν)는 설명의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ5 LIME의 행동을 해석적으로 기술할 수 있는 블랙박스 모델에 대한 구조적 가정은 무엇인가?

주요 결과

• 선형 함수의 경우, Tabular LIME는 진짜 함수 계수에 비례하는 설명을 생성하여 정확성과 일관성을 입증한다.
• 블랙박스 함수가 특성의 부분집합에만 의존하는 경우, Tabular LIME는 관련이 없는 특성에 대해 반드시 0인 계수를 할당함으로써 특성 무관성 탐지 기능을 입증한다.
• 곱셈적 또는 희소적으로 의존하는 함수의 경우, 주어진 가정 하에 LIME의 설명은 여전히 진짜 기능적 구조와 일치한다.
• 분할 기반 모델(예: CART 숲)의 경우, LIME은 예측에 영향을 주지 않는 특성에 대해 비제로 계수를 생성하는 아티팩트를 생성한다.
• 기대값 계산을 통해 도출된 이론적 예측은 실증 결과와 매우 밀접하게 일치하여 분석 프레임워크의 타당성을 검증한다.
• 가중치 함수의 선택이 설명 품질에 상당한 영향을 미친다는 것이 드러났으며, 이는 특정 모델에 대해 비기본 가중치를 사용할 경우 성능 향상이 가능할 수 있음을 시사한다.