[논문 리뷰] A study of data and label shift in the LIME framework

Amir Hossein Akhavan Rahnama, Henrik Boström|arXiv (Cornell University)|2019. 10. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 13

한 줄 요약

이 논문은 LIME의 국소 대체 설명 프레임워크에서 데이터 및 레이블 이탈을 조사하며, 특성의 무작위 편향이 입력 인스턴스와 블랙박스 예측 모두의 분포에 심각한 이탈을 유도함을 보여준다. 최대 평균 차이(MMD) 검정을 사용하여, 이러한 이탈이 설명의 정밀도와 부정적 상관관계를 보이며, 특히 최근접 이웃 수가 증가할수록 더욱 뚜렷함을 확인하였다. 이는 LIME의 샘플링 전략을 개선할 필요가 있음을 시사한다.

ABSTRACT

LIME is a popular approach for explaining a black-box prediction through an interpretable model that is trained on instances in the vicinity of the predicted instance. To generate these instances, LIME randomly selects a subset of the non-zero features of the predicted instance. After that, the perturbed instances are fed into the black-box model to obtain labels for these, which are then used for training the interpretable model. In this study, we present a systematic evaluation of the interpretable models that are output by LIME on the two use-cases that were considered in the original paper introducing the approach; text classification and object detection. The investigation shows that the perturbation and labeling phases result in both data and label shift. In addition, we study the correlation between the shift and the fidelity of the interpretable model and show that in certain cases the shift negatively correlates with the fidelity. Based on these findings, it is argued that there is a need for a new sampling approach that mitigates the shift in the LIME's framework.

연구 동기 및 목표

• LIME의 편향 과정이 국소 대체 모델에서 데이터 및 레이블 이탈을 유도하는지 조사하기.
• 이러한 이탈이 LIME의 해석 가능한 모델의 정밀도에 미치는 영향을 평가하기.
• LIME에서 현재 사용 중인 무작위 샘플링 전략이 설명의 신뢰성에 악영향을 미치는지 평가하기.
• LIME 프레임워크 내 분포 이탈을 완화하는 데 기여하는 새로운 샘플링 접근법의 필요성을 제안하기.

제안 방법

• 연구는 원래 훈련 인스턴스와 LIME 편향 인스턴스의 분포 간 통계적 이탈을 측정하기 위해 최대 평균 차이(MMD)를 사용한다(데이터 이탈).
• 레이블 이탈은 블랙박스 모델이 원본 국소 인스턴스와 편향된 인스턴스에 대해 예측한 분포를 MMD를 사용해 비교함으로써 평가된다.
• 정밀도는 블랙박스 모델과 대체 모델 예측 간 절대 차이의 역수로 정량화된다: $ \mathbb{F}(x,y) = \frac{1}{|f_y(x) - g_y(x)| + 1} $.
• 두 가지 사례 연구를 분석하였다: SVM를 사용한 Newsgroups 텍스트 분류와 Inception V3를 사용한 ImageNet 객체 탐지.
• LIME의 국소 이웃 선택에 사용되는 최근접 이웃 수($n$)를 체계적으로 변화시켜 $n$에 대한 민감도를 평가하였다.
• 귀무가설 $H_0: P_{X_{\text{knn}}} = P_Z$ 및 $H_0: P_{F(X_{\text{knn}})} = P_{F(Z)}$ 검정을 위해 $\alpha = 0.05$ 수준의 이중표본 MMD 검정을 사용하였다.

실험 결과

연구 질문

• RQ1 LIME에서 편향된 데이터 분포가 원래 훈련 분포와 유의미하게 다를까?(데이터 이탈)
• RQ2 편향된 인스턴스에 대한 블랙박스 모델 예측이 원본 국소 인스턴스의 예측과 다를까?(레이블 이탈)
• RQ3 데이터 또는 레이블 이탈의 크기와 LIME 대체 모델의 정밀도 사이에 상관관계가 있을까?
• RQ4 최근접 이웃 수($n$)가 LIME에서 데이터 및 레이블 이탈의 정도에 어떤 영향을 미치는가?

주요 결과

• Newsgroups 텍스트 분류 작업에서, $n \geq 20$일 경우 테스트 인스턴스의 100%에서 데이터 이탈이 감지되었으며, MMD 값은 $n=20$일 때 5.56에서 $n=500$일 때 87.35로 증가하였다.
• 동일한 작업에서 $n \geq 100$일 경우 레이블 이탈이 100%의 인스턴스에서 감지되었으며, MMD 값은 $n=100$일 때 11.97에서 $n=500$일 때 63.06으로 증가하였다.
• ImageNet 객체 탐지 작업에서 $n \geq 5$일 경우 인스턴스의 100%에서 데이터 이탈이 감지되었으며, MMD 값은 $n=5$일 때 0.64에서 $n=500$일 때 65.32로 증가하였다.
• 레이블 이탈은 $n \geq 2$일 경우 ImageNet 인스턴스의 100%에서 감지되었으며, MMD 값은 $n=2$일 때 1.08에서 $n=500$일 때 346.30으로 증가하였다.
• MMD 이탈(데이터 및 레이블 이탈)과 정밀도 사이에 부정적 상관관계가 관찰되었다: 이탈이 증가할수록 정밀도가 감소하였으며, 특히 $n$이 클수록 두드러졌다.
• 결과는 LIME의 현재 무작위 샘플링 전략이 설명의 신뢰성에 악영향을 미치는 심각한 분포 이탈을 유도하며, $n$이 증가할수록 더욱 심각하다는 것을 시사한다.