[논문 리뷰] Why should you trust my interpretation? Understanding uncertainty in LIME predictions.

Hui Fen Tan, Kuangyan Song외 3명|arXiv (Cornell University)|2019. 04. 29.

Explainable Artificial Intelligence (XAI)인용 수 17

한 줄 요약

이 논문은 기계학습 모델에서 LIME 설명의 불확실성에 대해 조사하며, 두 가지 주요 원인을 밝혀내는데, 샘플링의 랜덤성과 데이터 포인트 간 설명 품질의 변동성이다. 높은 모델 정확도를 보일지라도 LIME의 설명은 불안정하고 신뢰할 수 없으며, 이는 블랙박스 모델 설명에 대한 신뢰를 약화시킨다.

ABSTRACT

Methods for interpreting machine learning black-box models increase the outcomes' transparency and in turn generates insight into the reliability and fairness of the algorithms. However, the interpretations themselves could contain significant uncertainty that undermines the trust in the outcomes and raises concern about the model's reliability. Focusing on the method Local Interpretable Model-agnostic Explanations (LIME), we demonstrate the presence of two sources of uncertainty, namely the randomness in its sampling procedure and the variation of interpretation quality across different input data points. Such uncertainty is present even in models with high training and test accuracy. We apply LIME to synthetic data and two public data sets, text classification in 20 Newsgroup and recidivism risk-scoring in COMPAS, to support our argument.

연구 동기 및 목표

• 기계학습 모델에서 LIME 설명의 신뢰성에 대해 조사한다.
• LIME의 설명 생성 과정에서 발생하는 불확실성의 원인을 규명하고 분석한다.
• 다양한 입력 데이터 포인트 간 설명 안정성의 변동성을 평가한다.
• 높은 모델 정확도가 신뢰할 수 있거나 일관된 LIME 설명을 보장하지는 않음을 입증한다.
• 불확실성이 실생활 응용에서 모델 해석 가능성에 대한 신뢰에 미치는 영향을 평가한다.

제안 방법

• 연구는 합성 데이터, 20 Newsgroup 텍스트 분류 데이터셋, 그리고 COMPAS 재범 위험 평가 데이터셋에 LIME를 적용한다.
• 동일한 입력에 대해 다양한 난수 시드를 사용해 LIME을 여러 번 실행함으로써 샘플링 변동성을 평가함으로써 설명 안정성을 평가한다.
• 사용 가능한 진짜 설명에 가까운 정도와 특성 중요도의 일관성을 측정함으로써 설명 품질을 측정한다.
• 다양한 입력 인스턴스 간 LIME의 설명을 비교하여 신뢰성과 안정성의 변동성을 탐지한다.
• 여러 번의 LIME 실행에서 특성 가중치와 선택된 특성의 분산을 분석함으로써 불확실성을 정량화한다.
• 통계적 분석을 통해 모델 성능(학습/테스트 정확도)과 설명 신뢰성 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 LIME의 설명 품질에 영향을 주는 불확실성의 원인은 무엇인가?
• RQ2 샘플링의 랜덤성은 LIME 설명의 안정성에 어떻게 영향을 주는가?
• RQ3 높은 정확도를 보이는 모델에서도 설명 품질이 다양한 입력 데이터 포인트 간에 크게 다를 수 있는가?
• RQ4 높은 모델 정확도가 신뢰할 수 있는 LIME 설명과 얼마나 관련이 있는가?
• RQ5 LIME의 불확실성은 모델 해석 가능성에 대한 신뢰에 어떻게 영향을 주는가?

주요 결과

• LIME는 샘플링 절차의 랜덤성으로 인해 심각한 불확실성을 보이며, 이로 인해 런에 따라 특성 중요도 순위가 일관되지 않게 된다.
• 모델의 성능이 잘 되더라도, 다양한 입력 데이터 포인트 간에 설명 품질의 변동성이 뚜렷하게 나타난다.
• 높은 학습 및 테스트 정확도가 LIME 설명의 안정성이나 신뢰성 보장을 보장하지는 않으며, 이는 해석 가능성에 대한 신뢰성에 대한 기존의 가정을 도전한다.
• 여러 런에 걸쳐 LIME의 특성 선택 방식의 변동성은 개별 설명의 재현 가능성과 신뢰성에 악영향을 준다.
• 높은 성능을 보이는 모델에서도 LIME 설명의 불확실성이 존재하여, 고위험 의사결정 환경에서의 활용에 우려를 제기한다.
• 이 연구는 LIME의 설명이 특히 재범 위험 평가와 같은 민감한 응용 분야에서 불안정하고 신뢰할 수 없을 수 있음을 입증한다.