[논문 리뷰] MeLIME: Meaningful Local Explanation for Machine Learning Models

Tiago Botari, Frederik Hvilshøj외 2명|arXiv (Cornell University)|2020. 09. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 7

한 줄 요약

MeLIME는 데이터 분포 인식 퍼티루베이션 샘플링과 강력한 국소 모델 훈련을 통합함으로써 LIME을 개선한 모델에 종속되지 않는 국소 설명 프레임워크를 제안한다. 이는 테이블, 이미지, 텍스트 데이터 전반에서 블랙박스 기계학습 모델에 대해 더 의미 있고 신뢰할 수 있는 설명을 제공한다. MeLIME는 반례 예시 생성을 통해 해석 가능성성을 향상시키며, MNIST 및 감성 분석 작업에서 LIME, GuidedBackprop, SmoothGrad, LRP보다 뛰어난 성능을 보인다.

ABSTRACT

Most state-of-the-art machine learning algorithms induce black-box models, preventing their application in many sensitive domains. Hence, many methodologies for explaining machine learning models have been proposed to address this problem. In this work, we introduce strategies to improve local explanations taking into account the distribution of the data used to train the black-box models. We show that our approach, MeLIME, produces more meaningful explanations compared to other techniques over different ML models, operating on various types of data. MeLIME generalizes the LIME method, allowing more flexible perturbation sampling and the use of different local interpretable models. Additionally, we introduce modifications to standard training algorithms of local interpretable models fostering more robust explanations, even allowing the production of counterfactual examples. To show the strengths of the proposed approach, we include experiments on tabular data, images, and text; all showing improved explanations. In particular, MeLIME generated more meaningful explanations on the MNIST dataset than methods such as GuidedBackprop, SmoothGrad, and Layer-wise Relevance Propagation. MeLIME is available on https://github.com/tiagobotari/melime.

연구 동기 및 목표

• 블랙박스 모델에 대한 신뢰할 수 있는 국소 설명을 생성하는 데 있어 LIME의 한계를 해결하기 위해.
• 퍼티루베이션 샘플링 중 기저 데이터 분포를 통합함으로써 설명 품질을 향상시키기 위해.
• 특성 중요도 추정의 수렴성과 안정성을 보장하는 강력한 국소 해석 가능 모델 훈련 전략을 개발하기 위해.
• 모델 예측을 위한 보완 설명으로 반례 예시 생성을 가능하게 하기 위해.
• 테이블, 이미지, 텍스트 데이터 전반에서 다양한 데이터 유형에 대해 MeLIME의 성능을 평가하여 기존 방법보다 일관된 개선을 보여주기 위해.

제안 방법

• MeLIME는 데이터 분포 인식 퍼티루베이션 샘플링을 사용하여 LIME을 일반화함으로써, 도메인 추정을 통해 분포 외 샘플을 방지한다.
• 학습 데이터의 특성 공간 도메인 내에 머무르는 퍼티루베이션을 샘플링하기 위해 생성기(예: 텍스트용 Word2VecGen)를 활용한다.
• 특성 중요도와 모델 오차 양쪽에 수렴 기준을 적용하여 강력한 훈련을 보장하는 국소 해석 가능 모델을 훈련한다.
• 국소 모델 전략으로 국소 통계 측정치를 통합하여 특성 기여도 추정의 안정성을 향상시킨다.
• 입력 특성을 변형시켜 예측에 미치는 영향을 보여주기 위해 반례 예시를 생성함으로써 해석 가능성성을 향상시킨다.
• 통합적이고 모듈러한 아키텍처를 사용하여 테이블, 이미지, 텍스트 데이터 전반에서 분류 및 회귀 작업을 지원한다.

실험 결과

연구 질문

• RQ1 기저 데이터 분포를 고려함으로써 블랙박스 기계학습 모델에 대한 국소 설명을 어떻게 더 의미 있게 만들 수 있는가?
• RQ2 LIME의 퍼티루베이션 샘플링 및 국소 모델 훈련 방식을 수정함으로써 설명 품질에 어떤 향상이 이루어질 수 있는가?
• RQ3 MeLIME는 모델의 해석 가능성성을 향상시키기 위해 신뢰할 수 있는 반례 예시를 생성할 수 있는가?
• RQ4 다양한 데이터 유형에서 MeLIME는 LIME 및 기타 샐런시 기반 방법과 비교해 설명 품질 측면에서 어떻게 성과를 내는가?
• RQ5 인위적 퍼티루베이션과 반례 분석을 통해 MeLIME는 블랙박스 모델의 약점을 어느 정도 드러낼 수 있는가?

주요 결과

• MeLIME는 MNIST 데이터셋에서 LIME, GuidedBackprop, SmoothGrad, LRP보다 더 의미 있는 설명을 생성하였으며, 특히 관련 이미지 영역을 잘 강조하였다.
• 텍스트 데이터에서는 MeLIME가 'refreshing'이라는 단어가 부정 신호를 가지며 높은 중요도를 가지는 것으로 정확히 식별하였으며, 이를 교체하면 감성 예측이 바뀔 수 있음을 시사하였다.
• 국소 모델 훈련 중 생성된 인위적 문장들은 MeLIME의 설명이 모델 행동과 일치함을 확인하였으며, 이는 설명에 대한 신뢰도를 높였다.
• 작은 입력 변화가 예측에 어떤 영향을 미치는지 보여주는 반례 예시를 성공적으로 생성하여 모델에 대한 깊이 있는 통찰을 제공하였다.
• 테이블, 이미지, 텍스트 데이터 전반에서 MeLIME는 LIME보다 설명의 신뢰성과 해석 가능성에서 뛰어난 성능을 보였으며, 특성 관련도 정확도 측면에서 정량적 개선을 이룩하였다.
• 국소 모델 훈련에 수렴 기준을 적용함으로써 표준 LIME 훈련 대비 더 안정적이고 일관된 특성 중요도 추정이 이루어졌다.