[논문 리뷰] A Framework for Evaluating Post Hoc Feature-Additive Explainers

Zachariah Carmichael, Walter J. Scheirer|arXiv (Cornell University)|2021. 06. 15.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 모델의 가감성 구조에서 직접 유도된 기준값과 비교하여 후행적 특징 추가 설명기(post hoc feature-additive explainers)를 객관적으로 평가하기 위한 프레임워크를 제안한다. 이는 심지어 LIME 및 SHAP과 같은 인기 있는 방법들조차도 고차원적 또는 상호작용이 있는 모델에서 잘못된 설명을 도출할 수 있음을 보여주며, SHAP는 더 높은 충실도를 보이지만 복잡한 조건에서는 여전히 실패함을 시사한다.

ABSTRACT

Many applications of data-driven models demand transparency of decisions, especially in health care, criminal justice, and other high-stakes environments. Modern trends in machine learning research have led to algorithms that are increasingly intricate to the degree that they are considered to be black boxes. In an effort to reduce the opacity of decisions, methods have been proposed to construe the inner workings of such models in a human-comprehensible manner. These post hoc techniques are described as being universal explainers - capable of faithfully augmenting decisions with algorithmic insight. Unfortunately, there is little agreement about what constitutes a "good" explanation. Moreover, current methods of explanation evaluation are derived from either subjective or proxy means. In this work, we propose a framework for the evaluation of post hoc explainers on ground truth that is directly derived from the additive structure of a model. We demonstrate the efficacy of the framework in understanding explainers by evaluating popular explainers on thousands of synthetic and several real-world tasks. The framework unveils that explanations may be accurate but misattribute the importance of individual features.

연구 동기 및 목표

• 고위험도 AI 응용 분야에서 후행적 설명기의 객관적 기준값 평가의 부족을 해결하기 위해.
• 주관적 평가나 대체 지표에 의존하는 기존 평가 방법이 설명의 충실도를 확보하지 못하는 이유를 규명하기 위해.
• 합성 및 실세계 모델을 활용해 포괄적이고 객관적인 설명기 분석을 가능하게 하는 체계적 프레임워크를 개발하기 위해.
• 수천 개의 합성 작업과 실세계 데이터셋에서 주요 설명기—LIME, SHAP, SHAPR, PDP, MAPLE—의 성능을 평가하기 위해.
• 고차원성과 복잡한 특징 상호작용 조건에서 설명기의 한계를 폭 드러내기 위해.

제안 방법

• 모델의 가감성 기여도가 알려진 합성 모델을 생성하는 테스트 베드를 구축하여 기준값을 확보하기 위해.
• 일반적인 모델의 클래스에 대해 후행적 설명으로 매핑하기 위해 MatchEffects 알고리즘을 설계하여 가감성 영향을 추출하기 위해.
• 정규화된 제곱근 평균 제곱오차(NRMSE)와 코사인 거리(cosine distance)를 사용해 설명기 출력을 기준값과 정량적으로 비교하기 위해.
• 통제된 특징 상호작용과 차원 수를 가진 합성 작업과 실세계 데이터셋(예: COMPAS, 보스턴 주택)에서 설명기를 평가하기 위해.
• 스트레스 조건 하에서 설명기의 신뢰성을 평가하기 위해 다양한 모델에서 최악의 경우 설명을 시각화하기 위해.
• 표면적으로 타당해 보일 수 있는 잘못된 기여도 부호나 크기조차도 식별하기 위해 프레임워크를 적용해 잘못된 기여도를 탐지하기 위해.

실험 결과

연구 질문

• RQ1 모델의 가감성 구조에서 직접 유도된 기준값과 비교했을 때, 인기 있는 후행적 설명기의 성능은 어떠한가?
• RQ2 LIME 및 SHAP과 같은 설명기들은 고차원적 또는 상호작용이 있는 모델에서 특징 중요도를 얼마나 잘못 부여하는가?
• RQ3 객관적 평가 프레임워크는 주관적 또는 대체 평가 방법으로는 드러나지 않는 실패를 탐지할 수 있는가?
• RQ4 특징 상호작용이나 차원 수와 같은 모델 특성 중에서 설명기 충실도를 가장 심각하게 떨어뜨리는 요소는 무엇인가?
• RQ5 최악의 사례를 분석했을 때, 다양한 설명기 간의 설명 품질은 어떻게 달라지는가?

주요 결과

• SHAP는 다른 설명기들보다 일관되게 뛰어난 성능을 보이며, 보스턴 주택 데이터셋에서 NRMSE 0.129를 기록했고, LIME는 높은 오차(NRMSE = 3.04)를 보이며 특징 중요도를 잘못 부여함.
• 표면적으로 타당해 보일 수 있는 설명조차도 충실도가 떨어질 수 있음: 여러 설명기들이 특징에 대해 반대 부호의 기여도를 할당하여 근본적인 오인 표현을 드러냄.
• 모든 평가된 설명기—SHAP를 포함해—고차원 설정과 고차원 상호작용을 포함한 모델에서는 성능이 떨어지기 시작함.
• LIME, PDP, SHAPR의 최악의 설명은 표면적으로 타당해 보일 수 있지만 체계적인 오류를 보이며, 기여도의 크기와 부호를 잘못 부여함.
• 프레임워크는 집계 지표만으로는 부족함을 드러냄; 최악의 성능이 고위험도 분야에서 설명기의 유용성을 제한함.
• LIME 및 PDP와 같은 서rogate 모델에서 유도된 설명은 특징 독립성 가정 위반이 발생할 경우 특히 불안정하고 정확도가 떨어짐.