[논문 리뷰] Do Explanations Reflect Decisions? A Machine-centric Strategy to Quantify the Performance of Explainability Algorithms

Zhong Qiu Lin, Mohammad Javad Shafiee외 4명|arXiv (Cornell University)|2019. 10. 16.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 68

한 줄 요약

이 논문은 기계 중심 프레임워크(Impact Score 및 Impact Coverage)를 제안하여 설명 가능성 방법(LIME, SHAP, Expected Gradients, GSInquire)이 실제로 신경망 결정에 얼마나 영향을 미치는지 정량적으로 평가합니다. ResNet-50과 ImageNet 데이터를 정상 조건과 적대적 조건 모두에서 평가했습니다.

ABSTRACT

There has been a significant surge of interest recently around the concept of explainable artificial intelligence (XAI), where the goal is to produce an interpretation for a decision made by a machine learning algorithm. Of particular interest is the interpretation of how deep neural networks make decisions, given the complexity and `black box' nature of such networks. Given the infancy of the field, there has been very limited exploration into the assessment of the performance of explainability methods, with most evaluations centered around subjective visual interpretation of the produced interpretations. In this study, we explore a more machine-centric strategy for quantifying the performance of explainability methods on deep neural networks via the notion of decision-making impact analysis. We introduce two quantitative performance metrics: i) Impact Score, which assesses the percentage of critical factors with either strong confidence reduction impact or decision changing impact, and ii) Impact Coverage, which assesses the percentage coverage of adversarially impacted factors in the input. A comprehensive analysis using this approach was conducted on several state-of-the-art explainability methods (LIME, SHAP, Expected Gradients, GSInquire) on a ResNet-50 deep convolutional neural network using a subset of ImageNet for the task of image classification. Experimental results show that the critical regions identified by LIME within the tested images had the lowest impact on the decision-making process of the network (~38%), with progressive increase in decision-making impact for SHAP (~44%), Expected Gradients (~51%), and GSInquire (~76%). While by no means perfect, the hope is that the proposed machine-centric strategy helps push the conversation forward towards better metrics for evaluating explainability methods and improve trust in deep neural networks.

연구 동기 및 목표

• 주관적인 시각 해석을 넘어서는 기계 중심의 정량적 평가의 동기를 부여한다.
• 식별된 중요한 요인이 네트워크 결정과 신뢰도에 미치는 영향을 측정하기 위한 지표(I) 및 Impact Coverage를 정의한다.
• 일반 조건과 적대적 조건에서의 이미지 분류 작업에서 최신 설명 가능성 방법(LIME, SHAP, Expected Gradients, GSInquire)을 체계적으로 비교한다.

제안 방법

• 설명 가능성 방법 M으로 식별된 임계 요인 c를 다음 중 하나를 만족하면 중요하다고 정의한다: (i) c를 제거하면 결정이 바뀌거나, (ii) 결정 신뢰도 z가 임계값 tau(0.5) 이상 떨어질 때.
• 결정이 c 없이 바뀌었거나 신뢰도가 tau만큼 떨어진 경우의 지표를 입력 간 평균으로 계산하여 Impact Score I를 구한다.
• 단, 신뢰도 기준 없이 결정 변화만을 사용하여 더 엄격한 Impact Score I_strict를 계산한다.
• 적대적으로 영향을 받은 요인과 임계 요인 간의 교집합-합집합 평균(I_coverage)을 입력 전체에 걸쳐 정의한다.
• 일반 조건 및 적대적 패치 조건에서 ResNet-50 ImageNet 하위 집합에 대해 LIME, SHAP, Expected Gradients, GSInquire의 네 가지 설명 가능성 방법을 평가한다.
• 일반 및 적대적 성능을 모두 평가하기 위해 I, I_strict, I_coverage를 사용하여 방법 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 다른 설명 가능성 방법에서 식별한 중요한 요인이 신경망의 실제 의사 결정 과정을 얼마나 잘 반영하는가?
• RQ2 더 새롭고 그래디언트 정보에 의한 방법들(예: GSInquire, Expected Gradients)이 대리 방법(LIME, SHAP)에 비해 결정 영향 및 신뢰도에 더 큰 영향을 주는 설명을 제공하는가?
• RQ3 적대적 주의 분散 하에서 설명 가능성 방법들이 결정 영향과 적대적으로 영향받은 요인에 대한 커버리지 측면에서 어떻게 수행하는가?

주요 결과

• GSInquire 결과 가장 높은 결정 영향(I ≈ 76.10%)과 상당한 신뢰도 영향(I_strict ≈ 50.73%)을 일반 시나리오에서 보이며 다른 방법을 능가한다.
• Expected Gradients가 SHAP보다 더 큰 영향력을 보여 일반 시나리오에서 I ≈ 51.22% 및 I_strict ≈ 47.80%.
• SHAP는 LIME보다 개선되지만 GSInquire 및 Expected Gradients에 비해 결정 영향에서 여전히 낮다(I ≈ 44.15%, I_strict ≈ 40.24%).
• 일반 시나리오에서 네 가지 방법 중 LIME의 영향 지표(I ≈ 38.05%, I_strict ≈ 35.12%)가 가장 낮다.
• 적대적 분산 하에서 LIME는 I, I_strict 및 I_coverage가 가장 낮은 반면, GSInquire는 패치 규모 전반에서 I, I_strict, I_coverage가 가장 높아 적대적으로 영향을 받는 영역의 식별력이 더 우수하다는 것을 시사한다.