[논문 리뷰] "Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations

Yujia Zhang, Kuangyan Song외 3명|arXiv (Cornell University)|2019. 04. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 69

한 줄 요약

본 논문은 LIME 설명에서 세 가지 불확실성 원천—샘플링 무작위성, 근접성 기반 변동, 교차 포인트 신뢰도—을 식별하고, 합성 데이터, 20 Newsgroups, 및 COMPAS mimic 데이터 세트를 포함한 데이터 포인트 간의 불안정성을 입증한다.

ABSTRACT

Methods for interpreting machine learning black-box models increase the outcomes' transparency and in turn generates insight into the reliability and fairness of the algorithms. However, the interpretations themselves could contain significant uncertainty that undermines the trust in the outcomes and raises concern about the model's reliability. Focusing on the method "Local Interpretable Model-agnostic Explanations" (LIME), we demonstrate the presence of two sources of uncertainty, namely the randomness in its sampling procedure and the variation of interpretation quality across different input data points. Such uncertainty is present even in models with high training and test accuracy. We apply LIME to synthetic data and two public data sets, text classification in 20 Newsgroup and recidivism risk-scoring in COMPAS, to support our argument.

연구 동기 및 목표

• LIME 설명의 불확실성 원천을 식별하고 분류한다.
• 샘플링과 근접성이 LIME 특징 선택에 어떻게 영향을 미치는지 보여준다.
• 다양한 데이터 포인트와 데이터 세트에서 설명의 변동성을 제시한다.
• 사후 설명의 신뢰성과 신뢰도에 대한 시사점을 논의한다.

제안 방법

• LIME 설명의 불확실성의 세 원천을 정의한다: 샘플링 분산, 근접성 민감도, 교차 포인트 신뢰도 변동.
• 샘플링 분산과 근접 효과를 연구하기 위해 합성 트리 생성 데이터를 사용한다.
• 문서 분류에서 LIME을 20 Newsgroups에 적용하여 문서 간 지역적 설명의 타당성을 평가한다.
• COMPAS mimic 모델을 분석하여 LIME 설명의 일관성과 잠재적 공정성 신호를 검토한다.

실험 결과

연구 질문

• RQ1 LIME 설명의 주요 불확실성 원천은 무엇인가?
• RQ2 샘플링 분산이 주어진 입력에 대한 LIME 특징 선택의 안정성에 어떻게 영향을 주는가?
• RQ3 샘플링 근접성과 매개변수 선택이 LIME 설명에 어떤 영향을 미치는가?
• RQ4 LIME 설명은 데이터 포인트 간 신뢰도에 차이를 보이는가, 이는 신뢰도에 어떤 시사를 갖는가?
• RQ5 LIME 설명은 COMPAS mimic 데이터와 같은 실제 데이터 세트에서 일관되고 신뢰할 수 있는가?

주요 결과

• 샘플링 분산은 단일 데이터 포인트에 대해 반복된 LIME 시도에서 다른 특징을 선택하게 한다.
• 작은 샘플링 근접성은 국소적으로 중요한 특징을 포착하는 경향이 있는 반면, 더 큰 근접성은 더 글로벌한 특징을 포착한다.
• 설명은 데이터 포인트 간에 변동되어 로컬 설명에서 모델 신뢰도가 달라진다.
• 20 Newsgroups 텍스트 분류에서 일부 상위 특징은 한 문서에서는 의미있지만 다른 문서에서는 비정보적일 수 있어 신뢰도에 불일치를 나타낸다.
• COMPAS mimic 데이터 세트에서 설명은 데이터 포인트와 시도 간에 비교적 일관되어 신뢰 가능성이 있을 수 있음을 시사하며, 인구통계적 특징이 영향력 있는 요인으로 강조된다.