[논문 리뷰] Why model why? Assessing the strengths and limitations of LIME

Jürgen Dieber, Sabrina Kirrane|arXiv (Cornell University)|2020. 11. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 12

한 줄 요약

이 논문은 표형 기계학습 모델의 해석 가능성에 있어 LIME의 효과성을 평가하며, 표준 성능 지표를 넘어서 모델의 해석 가능성 향상에 기여하는 바를 입증한다. 국소적 설명에 있어서의 유용성에도 불구하고, 연구는 악성 문서화 및 글로벌 분석 지원 부족으로 인한 심각한 사용성 문제를 드러내며, 실제 응용에서 사용자 만족도와 효율성을 저해함을 밝힌다.

ABSTRACT

When it comes to complex machine learning models, commonly referred to as black boxes, understanding the underlying decision making process is crucial for domains such as healthcare and financial services, and also when it is used in connection with safety critical systems such as autonomous vehicles. As such interest in explainable artificial intelligence (xAI) tools and techniques has increased in recent years. However, the effectiveness of existing xAI frameworks, especially concerning algorithms that work with data as opposed to images, is still an open research question. In order to address this gap, in this paper we examine the effectiveness of the Local Interpretable Model-Agnostic Explanations (LIME) xAI framework, one of the most popular model agnostic frameworks found in the literature, with a specific focus on its performance in terms of making tabular models more interpretable. In particular, we apply several state of the art machine learning algorithms on a tabular dataset, and demonstrate how LIME can be used to supplement conventional performance assessment methods. In addition, we evaluate the understandability of the output produced by LIME both via a usability study, involving participants who are not familiar with LIME, and its overall usability via an assessment framework, which is derived from the International Organisation for Standardisation 9241-11:1998 standard.

연구 동기 및 목표

• 표형 기계학습 모델의 해석 가능성 향상에 있어 LIME의 효과성을 평가하기 위해.
• 비전문가 참가자를 대상으로 한 사용성 연구를 통해 LIME의 출력 이해 가능성 평가하기 위해.
• ISO 9241-11:1998를 바탕으로 한 사용성 평가 프레임워크를 도출하여 LIME 및 기타 xAI 프레임워크 평가하기 위해.
• LIME가 모델 평가 시 전통적인 성능 평가 방법을 보완할 수 있음을 입증하기 위해.
• 특히 글로벌 해석 및 문서화 측면에서 LIME의 사용성 한계를 특정하기 위해.

제안 방법

• 비가 예측 데이터셋에서 최신 분류 모델 네 개의 예측을 해석하기 위해 LIME의 TabularExplainer를 적용하였다.
• 비전문가 참가자를 대상으로 한 사용성 연구를 통해 LIME의 국소적 설명 이해 가능성 평가를 수행하였다.
• 효과성, 효율성, 만족도에 중점을 두어 ISO 9241-11:1998를 기반으로 한 사용성 평가 프레임워크를 개발하였다.
• 개별 예측의 해석을 통해 국소 분석을 수행하고, 관측치 전반에 걸쳐 다수의 LIME 설명을 집계하여 글로벌 분석을 수행하였다.
• 원시적인 글로벌 분석 도구가 없어, 수작업으로 데이터 집계(예: LIME 출력을 Excel에 복사)를 통해 글로벌 패턴 탐지 작업을 수행하였다.
• 설정 과정의 어려움과 문서화 누락을 포함한 시간, 노력, 사용자 경험 측면에서 도구의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 LIME는 전통적인 성능 지표에 비해 표형 기계학습 모델의 해석 가능성 향상에 얼마나 효과적으로 기여하는가?
• RQ2 기본적인 설명형 AI 경험 없이도 LIME의 출력은 사용자에게 얼마나 이해하기 쉬운가?
• RQ3 설정, 문서화, 글로벌 해석 측면에서 LIME을 표형 데이터에 적용할 때 나타나는 주요 사용성 문제는 무엇인가?
• RQ4 표준화된 사용성 프레임워크는 LIME 및 기타 모델 무관형 해석 도구 평가에 어떻게 적용될 수 있는가?
• RQ5 효율적이고 신뢰할 수 있는 글로벌 모델 해석을 지원하기 위해 LIME의 설계에서 어떤 개선이 필요한가?

주요 결과

• LIME는 개별 예측에 대한 특성 수준의 설명을 제공함으로써 국소적 해석 가능성 향상에 효과적이며, 표준 성능 지표를 넘어서는 통찰을 제공한다.
• 비전문가 사용자들은 LIME의 출력을 부분적으로 이해할 수 있었지만, 설명 부족으로 인해 특성과 예측 간의 관계를 해석하는 데 어려움을 겪었다.
• 노후화된 문서화 및 오래된 패키지의 종속성 문제로 인해 LIME의 설정 및 구성에 상당한 시간과 노력이 소요되었다.
• 글로벌 해석은 특히 부담스러웠으며, 관측치 전반에 걸친 다수의 LIME 설명을 집계하고 분석하는 데 수시간의 수작업이 필요했다.
• 사용자들은 LIME의 빠른 처리 시간과 상호작용 기능에 대해 높은 만족도를 보였지만, 표준 가이드라인 부족 및 글로벌 분석 지원 부족으로 인한 좌절감을 느꼈다.
• 제안된 ISO 9241-11 기반 사용성 프레임워크는 핵심 사용성 차원을 성공적으로 포괄하였으며, 다른 xAI 도구의 벤치마킹에 사용될 수 있다.