[논문 리뷰] Do Not Trust Additive Explanations

Alicja Gosiewska, Przemysław Biecek|arXiv (Cornell University)|2019. 03. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 36

한 줄 요약

본 연구는 표형 데이터에 대한 가법적 설명 방법(LIME, SHAP, Break Down)을 비판하고, 상호작용이 존재할 때 일관되지 않거나 오해를 불러일으킬 수 있음을 보여주며, 로컬 설명에서 상호작용을 캡처하고 불확실성 평가 및 벤치마크를 제공하는 iBreakDown를 도입한다.

ABSTRACT

Explainable Artificial Intelligence (XAI)has received a great deal of attention recently. Explainability is being presented as a remedy for the distrust of complex and opaque models. Model agnostic methods such as LIME, SHAP, or Break Down promise instance-level interpretability for any complex machine learning model. But how faithful are these additive explanations? Can we rely on additive explanations for non-additive models? In this paper, we (1) examine the behavior of the most popular instance-level explanations under the presence of interactions, (2) introduce a new method that detects interactions for instance-level explanations, (3) perform a large scale benchmark to see how frequently additive explanations may be misleading.

연구 동기 및 목표

• 복합적이고 비가법적이지 않은 모델에 대해 additive 설명이 신뢰할 수리지 못한 이유를 제시한다.
• 특징 간 상호작용이 LIME, SHAP, Break Down과 같은 로컬 설명의 충실도에 어떤 영향을 미치는지 보여준다.
• 인스턴스 수준 설명에서 상호작용을 탐지하기 위한 방법(iBreakDown)을 제안하고 검증한다.
• 설명에 대한 불확실성 평가를 제공하고 실제로 상호작용이 얼마나 자주 나타나는지 보여준다.

제안 방법

• 타이타닉 유사 토이 예제를 사용하여 additive 설명의 문제점을 검토하고 설명한다.
• 비비교적 비가법성을 정량화하기 위해 단일 단계 특징 기여와 쌍 항 상호작용을 정의한다.
• 로컬 상호작용을 포착하고 상호작용 시각화를 포함한 비가법적 설명을 생성하기 위해 iBreakDown를 도입한다.
• 설명 불확실성을 정량화하기 위한 부트스트래핑 기반 절차를 확립한다.
• 다양한 상호작용 깊이를 갖는 모델과 함께 OpenML 이진 분류 데이터셋에서 iBreakDown를 벤치마크한다.
• Shapley 값과 Break Down 기여의 순열 평균 간의 관계를 증명한다.

실험 결과

연구 질문

• RQ1 가법적 설명이 특징 고려의 서로 다른 순서에 대해 일관된 기여도를 산출하는가?
• RQ2 특징 간의 상호작용이 LIME, SHAP, Break Down과 같은 로컬 설명의 충실도에 어떤 영향을 미치는가?
• RQ3 상호작용을 명시적으로 모델링하는 방법(iBreakDown)이 더 충실한 설명과 불확실성의 정량화를 제공할 수 있는가?
• RQ4 현실 데이터 세트에서 로컬 상호작용은 얼마나 자주 발생하며, 상호작용 복잡도가 증가하는 모델에서의 경향은 무엇인가?

주요 결과

• 가법적 설명은 상호작용이 존재할 때 일관되지 않거나 신뢰성이 떨어질 수 있다.
• 추가 설명은 가법적 설명에서 불확실성을 보이며, 서로 다른 특징 순서 간의 가변성으로 입증된다.
• 제안된 iBreakDown 방법은 로컬 상호작용을 포착하고 상호작용으로 표현된 워터폴 차트에서 비가법적 설명을 생성할 수 있다.
• OpenML 데이터 벤치마크에서 상호작용 깊이가 높은 모델일수록 더 많은 로컬 상호작용이 탐지되어 상호작용이 흔하고 모델에 의존적임을 시사한다.
• iBreakDown 설명은 모든 순서에 대한 평균으로 Shapley 값과 일치하며, 새로운 방법을 기존 기여 개념에 연결한다.
• 저자들은 iBreakDown의 R 및 Python 구현을 제공한다.