[논문 리뷰] Model-Agnostic Interpretability of Machine Learning

Marco Túlio Ribeiro, Sameer Singh외 1명|arXiv (Cornell University)|2016. 06. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 692

한 줄 요약

논문은 머신 러닝 설명을 모델-독립적 포스트-호크 도구로 다루는 것을 옹호하며, 설명이 기본 모델을 제약할 필요는 없고 유연성, 비교, 사용자 신뢰를 향상시킬 수 있다고 주장합니다; 또한 도전과제를 다루고 LIME을 실용적 접근으로 강조합니다.

ABSTRACT

Understanding why machine learning models behave the way they do empowers both system designers and end-users in many ways: in model selection, feature engineering, in order to trust and act upon the predictions, and in more intuitive user interfaces. Thus, interpretability has become a vital concern in machine learning, and work in the area of interpretable models has found renewed interest. In some applications, such models are as accurate as non-interpretable ones, and thus are preferred for their transparency. Even when they are not accurate, they may still be preferred when interpretability is of paramount importance. However, restricting machine learning to interpretable models is often a severe limitation. In this paper we argue for explaining machine learning predictions using model-agnostic approaches. By treating the machine learning models as black-box functions, these approaches provide crucial flexibility in the choice of models, explanations, and representations, improving debugging, comparison, and interfaces for a variety of users and models. We also outline the main challenges for such methods, and review a recently-introduced model-agnostic explanation approach (LIME) that addresses these challenges.

연구 동기 및 목표

• 설명을 모델로부터 분리하는 것이 유연성과 유용성을 높이기 위한 주장을 제시한다.
• 모델-독립적 설명이 어떤 모델이든 사용할 수 있도록 하면서 해석 가능성을 제어하는 방법을 보여준다.
• 설명 유형, 충실도, 설명의 표현력의 다양성을 강조한다.
• 모델-독립적 설명을 배포하는 데 있어 도전과 실용적 고려사항을 논의한다.

제안 방법

• 설명을 포스트-호크적이고 모델-독립적으로 다루어 모델의 유연성을 보존한다.
• 로컬 충실도 목표를 사용하는 모델-독립적 설명의 형식적 프레임워크를 정의한다.
• 설명을 생성하기 위한 인스턴스 주위의 지역성 개념과 근접성 척도를 도입한다.
• 블랙 박스 예측기를 근사하기 위해 단순하고 해석 가능한 로컬 모델을 학습하는 구체적 구현으로 LIME을 소개한다.
• 다양한 해석 가능성 가정과 복잡도 제약을 가진 설명 방법들로 설명을 도출하는 방법을 보여준다.
• 일관된 설명 표현을 사용해 모델을 비교하는 능력을 논의한다.

실험 결과

연구 질문

• RQ1 왜 설명을 모델링 과정과 분리하는가(모델-독립성)가 해석 가능성에 도움이 되는가?
• RQ2 해석 가능하다고 간주되는 모델이 predictor 자체가 되지 않아도 어떠한 분류기에 대해 로컬로 충실한 설명을 생성하려면 어떻게 해야 하는가?
• RQ3 모델-독립적 설명의 도전과 한계는 무엇이며, LIME과 같은 방법은 이를 어떻게 해결할 수 있는가?
• RQ4 원래의 모델에 충실도를 유지하면서 서로 다른 사용자와 표현에 맞게 설명을 어떻게 맞춤화할 수 있는가?
• RQ5 모델-독립적 설명이 비용을 낮추면서 모델 비교 및 전환을 촉진할 수 있는가?

주요 결과

• 모델-독립적 설명은 어떤 모델이든 사용할 수 있는 유연성을 제공하면서 해석 가능한 표현을 제공한다.
• 특정 인스턴스 주위의 이웃에서 로컬 설명은 글로벌 충실도가 불가능하더라도 모델에 충실할 수 있다.
• LIME은 해석 불성실을 최소화하는 로컬 설명 모델을 최적화하여 실용적인 프레임워크를 제공한다.
• 다양한 설명 가족과 복잡도 측정을 이용해 설명을 도출할 수 있어 해석 가능성을 맞춤화할 수 있다.
• 설명은 텍스트 모델의 경우 단어로, 이미지 모델의 경우 슈퍼-픽셀로도 표현할 수 있는 표현의 다양성을 지원하며, 기본 특성 공간과 무관하게 가능하다.
• 모델-독립적 설명은 일관된 설명 기법으로 모델 비교 및 전환을 촉진한다.