[논문 리뷰] Framework for Evaluating Faithfulness of Local Explanations

Sanjoy Dasgupta, Nave Frost외 1명|arXiv (Cornell University)|2022. 02. 01.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

이 논문은 일관성과 충분성이라는 두 가지 정량적 측정치를 사용하여 기계학습에서 국소적 해석 방법의 충실도를 평가하기 위한 프레임워크를 제안한다. 블랙박스 해석기용 추정기와 표본 복잡도 한계를 제공하며, 충실도가 데이터 분포에 의존하고, 이산화가 특히 SHAP 및 LIME와 같은 방법의 충실도 측정치를 향상시킬 수 있음을 입증한다.

ABSTRACT

We study the faithfulness of an explanation system to the underlying prediction model. We show that this can be captured by two properties, consistency and sufficiency, and introduce quantitative measures of the extent to which these hold. Interestingly, these measures depend on the test-time data distribution. For a variety of existing explanation systems, such as anchors, we analytically study these quantities. We also provide estimators and sample complexity bounds for empirically determining the faithfulness of black-box explanation systems. Finally, we experimentally validate the new properties and estimators.

연구 동기 및 목표

• 국소적 해석 시스템의 충실도를 그 기반 예측 모델에 대해 체계화하고 정량화하기.
• 기존 해석 방법이 분포 이동 상황에서 모델 행동을 정확히 반영하지 못할 수 있다는 과제를 다루기.
• 블랙박스 해석 시스템에서 충실도를 평가하기 위한 실용적인 추정기와 표본 복잡도 한계를 개발하기.
• 충실도가 데이터에 따라 달라지며, 해석 출력의 체계적 이산화를 통해 향상시킬 수 있음을 입증하기.

제안 방법

• 일관성(같은 해석은 같은 예측을 암시함)과 충분성(해석이 다를지라도 같은 예측을 암시함)이라는 두 핵심 측정치를 도입한다.
• 일관성과 충분성의 글로벌 및 로컬 변형을 정의하고, 비라벨 테스트 데이터 기반 추정기를 제시한다.
• 글로벌 충실도 추정을 위한 표본 복잡도 한계를 유도하며, 일정 오차를 확보하기 위해 $O(\mathtt{range}(e))$ 개의 표본으로 충분함을 보여준다.
• 특히 해석이 지나치게 세분화된 경우에 유의미한 향상을 이끌 수 있도록 해석 출력의 이산화를 제안한다.
• 다양한 데이터셋에서 다양한 해석기(Anchors, LIME, SHAP, k-NN, 반대요소)를 대상으로 실증 평가를 수행하여 측정치의 타당성을 검증한다.
• 통계적 추정기를 활용해 실제 데이터에서 충실도를 평가하고, 합성 및 실제 데이터 분할을 통한 검증을 수행한다.

실험 결과

연구 질문

• RQ1 국소적 해석 시스템의 충실도는 어떻게 체계적이고 정량적으로 측정할 수 있는가?
• RQ2 LIME, SHAP, Anchors와 같은 기존 해석 방법들이 일관성과 충분성 조건을 얼마나 충족하는가?
• RQ3 해석의 충실도는 다양한 데이터 분포 간에 어떻게 변화하는가?
• RQ4 블랙박스 해석 시스템에 대해 충실도를 신뢰성 있게 추정할 수 있으며, 이를 위해 필요한 표본 복잡도는 얼마인가?
• RQ5 해석의 이산화가 충실도 측정치 향상에 어떤 역할을 하는가?

주요 결과

• 해석 프레임워크 분석 결과, SHAP는 완벽한 일관성을 보이며, LIME는 그렇지 않다.
• SHAP 값의 이산화가 일관성과 충분성 점수를 크게 향상시킨다 — 예를 들어, Adult 데이터셋에서 1-FP 이산화 시 일관성 점수는 0.95로 상승하지만, 이산화 없이선 0.02에 머문다.
• 충실도는 매우 데이터 의존적이다: Adult 데이터셋의 한 집단에선 Anchors가 0.934의 일관성 점수를 기록한 반면, 다른 집단에선 SHAP가 0.885의 점수를 기록했다.
• 해석 압축(예: 이산화)이 없이선 충실도 검증이 본질적으로 불가능하며, 이는 주장 2로 입증되었다.
• 유일한 해석 수가 많을수록 충실도가 낮아지며, 이는 해석의 압축 필요성을 시사한다.
• 글로벌 충실도 추정의 표본 복잡도는 $O(\mathtt{range}(e))$ 이며, 이는 중간 크기의 비라벨 데이터로도 효율적인 실증 평가를 가능하게 한다.